也就是说，自绍兴三十一年秋，金主完颜亮携百万大军南下，渡过淮河侵略大宋开始，大宋君臣百姓不顾艰难险阻，前后用了十五年时间，收复锦州以西，燕山、朔州、榆林以南，大宋丢失的或不曾拥有的半壁江山，使整个天下形势发生了重大转变。
随着北方土地除云中之外尽数收复，赵昚、杨丛义在百姓中的声望如日中天，酒楼茶肆，路边小摊，无不称颂当今皇帝英明神武，无不赞扬杨丛义战无不胜，如岳武穆再世！
北伐之战结束，杨丛义卧病半年没有好转，赵昚御驾亲征离开汴京也将近一年，于是在封赏诸将之后，南归便提上日程。
北兴元年整个上半年，作为枢密使的杨丛义几乎没有再亲自指挥过任何军队作战，就连调整军队部署都没再参与，他似乎从整个大宋军中消失了一样。
眼见没有杨丛义的枢密院和大宋军队运行如常，赵昚和朝廷便想彻底消解他对军队的指挥权力，所以即使北伐之战结束，三个战区的军队指挥权力也没有统一，仍然让明复、姚昶、罗聪分别掌握，相互牵制。
六月中旬，行营南归，卧病半年没有好转的杨丛义自然也不会留在燕京。
八月上旬，御驾亲征的赵昚携北伐胜利之势，返回汴京。
中秋，汴京举行盛大庆典，君民同乐，庆祝北伐胜利。
同一天，赵昚发布诏令，大赦天下，普天同庆！
杨丛义的燕王爵位没有收回，太保加官也没有收回，这是赵昚给他的封赏，也是兑现的承诺。
回到汴京，众多太医诊治，杨丛义的病情依然没有太多好转，整日卧病府中，不能上朝，也不能参与朝廷大是，更无力处理枢密院公务，为了不耽误大事，杨丛义多次上书请辞枢密使之职。
在上书九次之后，赵昚亲自来到杨府探望病情，赐下不少珍贵药材和补品，并下诏令太医好生看护，若出意外，定斩不饶，叮嘱杨丛义安心养病，不必记挂北方之事。
次日，赵昚应允燕王杨丛义辞去枢密使之职，改由山东安抚使沈缙接任。
随后数月之内，朝廷经历了一系列重大人事调整任命。
其中宰相帝师史浩致仕，回江南明州养老。
京北安抚使张孝祥入京，参知政事。
户部右侍郎辛弃疾，调任兵部左侍郎，出任幽燕安抚使兼燕山府知府，节制幽燕诸军。
户部侍郎陆游出任河东安抚使，兼任太原府知府，节制河东诸军。
庆原路、京兆府路、熙秦路经略使周必大，调任河北安抚使，兼任真定府知府。
礼部右侍郎朱熹外任山东经略使，兼任益都府知府，节制山东诸军。
河东安抚使莫济调回汴京，参知政事。
此番人事调整不光调整的是黄河以北及关中地区，就连川陕、淮南、荆襄等地也有极大变动，可说从汴京到地方几乎都牵涉其中。
经这一番调整之后，赵昚这才彻底握住了权力。
在府中休养近一年后，杨丛义的病情才渐渐好转，在这期间，皇帝赵昚亲自去他府上探望过他多次，隔三差五赏赐的珍贵药材和补品更是无数。
虽然杨丛义已经可以下床走路，但需要搀扶，行动还是很不方便。
北兴二年三月，杨丛义才勉强可以自己走动，一能走动，便马上进宫谢恩。
在宫中，杨丛义只谈病情，只谈自己，只谈卧病期间看过什么文章，看过什么书，以及感想，绝口不提政事、军事。
当赵昚主动提起北方军事部署，以及他想再次发动北伐，夺取朔州、大同府和辽阳府等地，统一天下之时，杨丛义却说，卧病一年，身体大不如前，不能再上马提枪，奔赴疆场，他的时代已经过去，剩下的战斗该交给年轻人了。
整个谈话聊天，杨丛义没对朝廷的军事部署和赵昚的想法做任何评价，也没给出任何建议。
不在其位，不谋其政。
杨丛义告诉赵昚，这一病之后，他越发感觉到生命的珍贵，在为数不多的日子里，他只想安度余生。