在东路金军退兵后第三天，即靖康元年二月十三日，宋钦宗与宰执大臣们在延和殿举行会议。李纲提议，立即派遣大兵北上，护送金人回师。他说道：“澶渊之役，虽与辽人盟约，及其退也，犹遣重兵护送之，盖恐其无所忌惮，肆行掳掠故也。金人之去已三日矣，初谓其以船栰渡河，今探闻乃系桥济师，一日而毕。盍遣大兵，用澶渊故事护送之。”
李邦彦、吴敏等对此皆表示反对，他们以为，此时出兵护送还是太早，万一两军在途中发生交战，金兵很快就会卷土重来，将再次对京师构成严重威胁。
李纲坚持己见，毫不妥协，且态度十分坚决。不知是惧怕李纲，还是真的认为李纲所言有道理，宋钦宗竟毫不犹豫地批准了李纲的提议。
当日，宋钦宗即分遣将士，命姚古、种师中、折彦质、马忠、范琼等领兵北上，护送金兵回师。
此时姚古、种师中、折彦质都没到达京城，他们分别还在来京勤王的路上。姚古、折彦质在河东路南部一带，种师中在河北路滑州一带，只有马忠、范琼等军驻扎在京城。
宋军将士们接到军令后，“踊跃以行”。李纲悄悄告诫马忠和范琼：“度便利，可击，即击之。金人厚载而归，辎重既重，驱虏妇人不可胜计，意气骄甚。击之，决有可胜之理。”
受命北上的宋军合计有十余万人，他们各自出发，“数道并进”，一路北去，追赶金人。
李邦彦罢相仅数日，竟然又复出为宰相。消息传开后，京城内议论纷纷，“人情震骇”。朝中大臣都保持沉默，敢怒而不敢言。
二月十四日，秘书省校书郎陈公辅打破沉默，上书弹劾太宰李邦彦，及其党羽中书侍郎王孝迪与尚书左丞蔡懋，指责他们弄权误国，请求皇上罢去他们的职务。
陈公辅是政和三年上舍及第第一名，即相当于科举状元。他性格耿直，崇尚气节，敢于直言。他在奏疏中说道：“臣窃睹国家强虏入寇，中外震恐。陛下初临万几，曹此扰攘，深轸圣虑。公卿大夫误国至此，臣不胜痛愤！臣有愚见，辄不避死亡之诛，上干天听，伏惟陛下少留神焉。
臣闻宪宗用一裴度而平淮西，武宗用一李德裕而平泽潞。自古翦除寇难，兴复治功，必至排斥众议，屏除奸邪，而信任忠勇有为之才，然后可责其成功也。自臣闻边寇兴难，蚤夜危惧，曾诣都堂略陈守御之策，见任宰执大臣皆狐疑不断，牵制其事今已经月，条画措置并未就绪。况此数人，事上皇累年，皆阿谀顺旨，持禄养交，未尝建明一事，裨补圣明，致有今日之患。盖平居无事，尚不足恃，岂可使之当今日之变乎？陛下今日复用之士，论民心莫不叹息，不惟不足以了今日事，他日亦必误陛下！臣谓前日奋不顾身，力赞陛下登此宝位，必社稷臣，固当知之矣，胡不且专任，委以军国大事，不使众议移之，群邪沮之，使尽其才力，以了天下事？
至于朝士大夫，与昔时慷慨论事，不畏豪强得罪在外，亦不无其人，可以录用。但宰臣未肯为陛下言之，往往引用皆其亲党。臣窃惟陛下前日积德东宫，谦恭谨畏，退托不能，乃人子之道。今日统御九有，抚临万邦，乃人君之权。固当奋乾之刚，继离之明，兴大利，除大害，上以承祖宗无疆之要，下以慰四海生灵之望。不宜拘守常之论，惟不改父之臣与父之政，为难能也。况太上皇刚明勇决，一旦改悔，知为群邪所误，痛自罪已。陛下诚能慨然有为，罢去昔时用事之人，而委任真贤，敷举治道，是乃奉承太上皇之志也。帝王盛德，何以加此！
臣疏贱小臣，辄敢言及朝廷大臣，冒犯天威，自知必死，然不敢惜死，愿有说焉。夫宰相大臣非其人，谏官御史可以言之。今台谏皆宰相门人，不肯言也。侍从之臣可以言之，今侍从皆顾惜名位不敢言也。惟臣小官，无所顾惜，诚知爱国，不知谋身，所以为陛下言之。臣更不言，是陛下终不得闻宰相大臣之过也。宰相大臣天子不之知，何以论天下之治哉！又况陛下当即位之初，以论相择人为先，不可不谨。此举愿陛下断而行之，实为天下幸甚！”
其实，李邦彦早有自知之明，他知道自己已不适合继续担任宰相之职。两天前，他曾上书宋钦宗乞请致仕。
他在奏书中说，上皇退位，将江山社稷交付陛下，自己被委以重任，曾发誓要殚精竭虑，“身屡濒死，有所不避”。可是，自己的努力与心血，却一再遭到误解，以至于“今譊譊之徒，扇惑群听，喧竞仓卒，白黑不分”。
他辩解说，“臣之所急，存宗社、安君上、惜生灵而已，何敢为身谋？”然而，人们却不理解，不断进行诋毁，认为自己是奸贼。现在，“众听未孚，铄金可畏，不知引避，何以厌服斯民之心？”
当日，宋钦宗权衡利弊，最终接受了陈公辅的谏言，免去李邦彦、王孝迪和蔡懋在朝廷的职务。李邦彦外任邓州知州，王孝迪担任醴泉观使，蔡懋去往大名府任府尹。
李邦彦请求补足其守孝的时间，宣和五年他父亲去世时，他只守孝两个月就被朝廷召回，根据丁忧守丧制度，他应该守孝三年。宋钦宗准奏，命他前去提举亳州明道宫。
李邦彦虽然是“浪子宰相”，但宋钦宗对他怀有好感，因为宋钦宗在当太子期间，以及禅位之初，曾得到过他很大的帮助。现在迫于舆论压力，宋钦宗不得不让他下台。为了给他挽回一点颜面，宋钦宗专门下达了一份手诏：“太宰李邦彦任政府累年，屡形忧国爱民之议，以至惜名器，抑冗滥，献纳非一。朕在东宫时，熟闻嘉誉，册立之际，备罄忠诚。金人犯阙，其所建明，惟知利社稷抚军民为急，朕一一施行。众志未能遍谕，乃作弗靖，鼓唱流言，反与前日异议，元恶之人，忽生怨愤，实骇予听。已依所乞宫祠，播告中外，咸信勿疑。”