杨义臣本人，则在被召回朝中之后，整日郁郁寡欢，最后在大业十二年年初的时候疽疮发背而死——这个症状死法，据说和史书上记载的亚父范增因为项羽中了陈平的反间计而被逐走后，忧愤而死的病症是一模一样的。
后人唏嘘不已，对杨广这种自毁长城的举动无法理解，但是谁让杨广就是这么干了呢。只有身临其境的人，或许才能明白此时此刻的杨广真是打算暂时放弃北方了——历史上杨广南迁到扬州之后，对北方的赋税也好，军费拨款也好几乎都不过问也不作为了，如果他不提前遣散杨义臣，那么杨义臣的部队只要拿不到军饷，最终就算杨义臣本人再忠心也是会被逼反的。所以杨广这么做，其实只是希望河北人和河北人自相残杀。杀到那些靠抢劫滚雪球壮大的农民军无良民可抢、然后全部自行饿死，他再来收复山东和河北。
正如一些细菌在灌满了营养液的培养皿里头，你靠往里头打抗生素杀菌并不一定是最有效的办法，尤其当细菌调整好了环境进入指数期增长的时候。但是任何培养皿里的细菌种群总有消亡的那一刻，那就是营养液被耗竭的时候。而放到社会环境中时，其实当一些农民军通过劫掠其他更弱小的贫民而非豪强来壮大自己时。这些农民军就已经化身为了细菌。而良民就成了营养液。杨广虽然不懂生物学，但是在他看来，北齐故地那些野蛮的刁民，真的已经和细菌差不多了，必须釜底抽薪把那些顽强彪悍的族群彻底饿死，然后重新移民改良其民风才能长治久安。
杨义臣被召回朝廷之后，河北局势重新糜烂。张金称被杀后那些残余的非嫡系部队也逐渐被原本已经被杨义臣逼入绝境的窦建德所先后收服，最终成就了窦建德成为河北地区笑到最后的军阀。
此时，却把目光重新投向尚在东都的朝廷。杨广一边着手解决了杨义臣的问题之后。另一边也听说了江南道的萧铣回报，说江西乱贼林士弘已经被基本剿灭，只剩下一些逃进山区为寇的一时之间找不到，但从丹阳到武昌之间全线都已经肃清。另外。在燕王南下留守的三四个月里头，江都扬州的行宫基本上重新修葺一新，足可供朝廷暂且驻扎。得了这两个难得的喜讯之后，杨广终于可以把朝廷南迁的事情正式提上台面了。
不出所料，杨广正式提出朝廷暂时移驻江都的动议之后，依然遭到了无数大臣的反对，可惜杨广已经到了一意孤行的程度。在虞世基和裴矩屈服之后，其他人的劝说都已经无效了。杨广以几乎是一言堂的形式，给了朝臣和骁果军等京师驻军一个月的时间准备，九月必须启程南下巡幸江都。