而一旦有了襄陽，大軍就進可攻洛陽，退可守晉陵了。
謝愷匆匆派親信守住晉陵，又派人聯繫建康前來接管晉陵，自己率大軍急速行軍，在一日之內便靠近了襄陽。
八月十六日，謝愷忽然對襄陽城發起進攻，襄陽城內軍民一面鎮定迎擊，一面派出信使向後方求援。
奈何此時襄陽後方都被謝玉明切斷了信息通道，且謝玉明占領南陽，吸引了附近目光，所以襄陽被圍的消息竟然沒能送出去。
謝愷一邊圍困襄陽，一邊不斷向後方送信要求後勤跟上。
但是另一邊王業得知了謝愷這邊連克兩城的消息，又想到自己卻被殺得丟盔棄甲，還是靠自己看不上的流民帥才成功攻克譙縣，心中既妒又辱，竟然讓人悄悄把謝愷的報喜信件先攔下，等自己再克一城再遞交中央。
九月，一直在攻城的謝愷營中的物資漸漸跟不上消耗了，但是後方他要的的物資支持卻遲遲沒有來，謝愷不得不讓士兵就地取材，準備攻城物資。
又到十月，王業在流民帥的幫助下，終於又攻下一座小城，這時，王業身邊有軍曹進言：謝愷在軍中一向比您要得軍心，如今若是您攔截他信件的消息被他知道了，他難保不會記恨您，別人也難保不會恥笑您，不若您略施小計，讓謝愷攻襄陽失敗，這樣，即使後面他知道了，也沒有能力攻擊您了。
王業動搖一番之後，竟然採納了建議，又悄悄派人替襄陽向周邊城池透露消息，致使十月二十三，謝愷被襄陽的幾路援兵攻擊，不得已撤軍。
謝愷撤軍的消息幾乎和謝愷意氣風發要求朝廷趕緊給自己送來大量軍資的消息前後腳進入建康。
建康的大臣們看到謝愷說馬上就能攻克襄陽的信件來不及高興多久，就立馬看到了謝愷撤軍後退的消息。
群臣大怒，南帝怒斥謝愷為婦人之勇，不堪為將，急令謝愷回建康，另外派了大將前往前線接替謝愷的職位。
等謝愷一撤軍，謝愷的副將謝玉明猶豫一番之後沒有退，等著堂兄謝愷接下來的布置。
怎料沒過幾天，他就收到了朝廷建康換將命令謝愷回朝的消息。
新來的將領要求謝玉明搬兵向西，與自己合兵進攻襄陽，謝玉明無奈之下，不得不帶兵撤出南陽，失去了這好不容易攻來的城池。
但是謝玉明搬兵與江夏這邊的大軍合兵進攻襄陽後，卻並未取得勝利，而是在襄陽守軍和附近援軍的反擊一路大敗，不僅沒能攻下襄陽，還丟了江夏，最後寸功未建，灰溜溜地回了南方。
另一路的王業在謝愷被叫回建康之後，也得意起來，還想帶著大軍繼續北進。
不料沒過多久，北蠻王劉策派兵攻打他剛攻下的兩座城，被王業勒令守城的流民帥們沒有防備，飛快地失去了一城，只剩下一個譙縣還在手裡。
而更前線的王業在胡人鐵騎的進攻下，也被打得灰溜溜的回了譙縣。
如此，一開始浩浩蕩蕩，豪氣萬千的北伐最後就只剩下譙縣這一樁成果了。