内禅的旧事，指责吴敏当初主张徽宗让位是秉承蔡攸的密旨。还说当初他任门下省侍郎，也是蔡攸矫诏为之。这一盆污水泼过来，吴敏简直就是“六贼”的余孽了！

众所周知，在朝中，吴敏既是李纲的密友，又是李纲的政治同盟军。所谓“李纲是蔡攸一党”的舆论就从这里而来。当初力挽大宋颓运的吴敏，现在却一身都是错了，被贬为散官，安置于涪州（今四川涪陵）。消息传来，李纲唯有叹息。“戎马关山北，凭轩涕泗流。”历代志士总也走不出这正不压邪的怪圈。罢！罢！罢！事已至此，再做努力又有甚用？他在军帐中抱病而起，写了札子呈上，乞求罢官，不想和那群小人再玩了。

朝局的这个巨变，跟那位鬼精灵的唐恪有关。起初，唐恪打好主意，要把李纲设法排挤出朝。李纲一走，再对付徐处仁、许翰、吴敏就好办了，“可以计去之”。这三个人一除掉，李纲自然也不想留，朝廷也就清静了。唐恪的阴谋进行到现在，一步一步，几乎全部实现。皇帝成了由他牵线的木偶。

李纲连递几道辞呈，钦宗还是降诏批答不允。李纲就再次上奏，力陈自己才能不济，又得了“昏愦之疾”（视力和听力出了问题），不免职的话一定会误国事。他怕钦宗还是不批，就提起了离京前与钦宗之间“不负君臣之义”的约定。

一旦朝廷决策有变，我就一定要退！——这是李纲事前说好了的。钦宗无语可对，于是，任命种师道为同知枢密院事（国防部副部长），负责巡边，与李纲交割宣抚司事务。前线事务还是交还给了老将军，让李纲暂时赴阙，先负责一下黄河沿岸的巡视防守之职。

李纲还是不想干，又连上表章，乞罢知枢密院事（国防部长），只在本官尚书右丞职位上致仕（退休）。

这一本上去，见效了。九月初，李纲在回朝途中，行至封丘县，得到尚书省的札子，说有旨免去李纲本兼各职，贬为观文殿学士、知扬州。

李纲随即上奏辞免，说即便是这个知府官衔，也不敢当。他还上疏特别说明：“臣所以辞官，并非惜命怯敌，而是事有不可为者，难以虚受其责。宣抚司的兵至今还有若干没调用的，今屯驻在某处；朝廷拨给的银、绢、钱若干，还有皇上特别拨给的银若干，除支付官兵伙食钱并犒赏外，其余皆留在怀州，有帐可查。臣既罢去，担心的是不知内情者诬臣丧师费财，请陛下派人核实。另，臣以为金人狡狯，谋虑极深，和议怕靠不大住，一旦士卒散心，国家将无法御侮，则天下之势去矣！臣从此不再参与国事，现冒死将意见上达。”

不久，果然有人弹劾李纲“专主战议、丧师费财”，竟归纳了十大罪。于是李纲被再贬为保