最后，麻贵对杨镐道：“请杨大人率辎重和伤兵连夜先行，到庆州和大队人马汇合。”这时一直不说话的杨镐突然站起身，情绪激动地说道：“请麻将军先行，让镐率军断后，如何？”麻贵愕然道：“这样恐怕不妥，杨大人身为朝廷派来的要臣，若有个差池，贵如何向邢大人交代？”
杨镐慷慨激昂地说道：“蔚山战事，虽然诸位将军不说，难道我就不知其内心深处实在是对镐多有埋怨吗？事已至此，我杨镐绝非推功揽过之人，回到王京自会对邢大人分说；只是眼下，还望麻将军再信我一次，让镐率军断后吧，不然，镐身无寸功，回去后真就没法交待了。”说到此处，杨镐已经面露苦相了，麻贵心中着实拿不定主意，最后思来想去，只得道：“既然杨大人执意要领军断后，我也不好再说什么，责任重大，就请大人多担代吧！”
麻贵闻听刁斗声从山下军营隐隐传来，寅时已过，五更初起，知道事不宜迟，不敢再担搁了，当即命令诸将出去后马上整队，等他的号令一下，立即出发。另外派了快马奔赴50里外的梁山，通知祖承训不必再坚守，可直接向宜宁撤退，与那里的明军部队汇合。
联军士兵苦战了一天，疲惫之极，正迷迷糊糊地睡着，突然被刺耳的号角声惊醒，不知出了什么事，不少人钻出帐篷四下里张望。只见骑马的军官在营区里奔驰往来，大声传令让士兵们整理行装，集合待命。有些亲兵从参加会议的将领那里得了消息，互相传言，一传十，十传百，不久整个大营都知道部队要撤退了，顿时群起骚动，数万人乱纷纷地捆绑被服，牵马推车，人喊马嘶声在黎明中传出数里远。
董正谊率骑兵两千做为前锋开路，其次是麻贵率提督标营3000人居中，王问的战车营停在路边，负责集中收拢各营伤兵，高策率3000兵马压阵，并派出骑兵小队往来巡视，维持行军秩序，吴惟忠率两千人防御岛山城方面，李芳春率3000人防御梁山方向，卢继忠率3000人防御太和江面，李如梅率辽兵2500人，朝鲜元帅权栗率朝兵3000人随杨镐在大营按兵不动，准备交替掩护各部撤退。
毕竟是两万多人，在暗夜中撤兵，免不了点起火把照明，寒风呼啸，仓促间几处弃置营帐被飞散的火星燎燃，若是平常自有士卒灭火，可这会儿人人要走，哪顾得了这许多。火借风势，风助火威，一时半刻的功夫明军营地处处火起，疲病伤者叫呼之声连天，原本有秩序的队形也有些乱了，仗着麻贵事先派高策军的骑兵分守各个路口弹压，遇到越众先行者，格杀勿论，才使得混乱没有蔓延开。
杨镐将棉披风裹在身上，可仍止不住浑身瑟瑟发抖，李如梅以为是风大，命士兵取来棉甲请他穿上，杨镐摇头拒绝，颤声道：“子清，我冷倒不冷，只是着实有些紧张。”李如梅宽慰他道：“杨兄莫怕，我军并非败退，而是主动撤走，放着这许多人马在这里，就算倭贼杀来也能抵挡一阵。”杨镐点头称是，可心中仍觉胆寒，左顾右看，浮躁至极。