参军杜袭笑道：“两位不要争辩了！河南地回归晋土不过十年，期间又多经战乱，士民并不归心。稳妥起见，大军不妨退回寿春，再做打算！”
高柔反对道：“大军进退，岂是如此儿戏？现在民夫千里转运粮草至此，一旦退却，我军必然损失惨重啊！”
李恒冷声道：“大军撤退，自然千难万难。都督撤回寿春却并不难！都督身份高贵，身系豫州安危、社稷之重，岂能置身险地？”
本来谢万听说郗昙撤退，就疑心燕军兵锋太盛，不敢再往前走了。这时候听到李恒的建言，深以为然，便出生道：“好了，诸位参军不必再相争，本督心意已决，着胡彬统领北伐诸军，退回下蔡！”说罢便让部曲打点行装，连大营也不会，直接带着幕僚们快马加鞭地向南撤退了。
却说众将在大营之中等待谢万，正自不耐，却听得快马来报：北中郎将退守彭城，谢都督向南退走，着长史胡彬带军队撤回下蔡！
众将军简直不敢相信自己的耳朵，一军之主将，竟然连个招呼都不打就独自跑了！辅国将军王度暴跳如雷，大声喊道：“老贼误国，竟敢弃军而逃，置大军于险地，我这就去宰了他们！”
一时诸将纷纷起哄，就要去追击谢万。
何容劝道：“谢氏毕竟是高门世家，诸位今日杀了谢万，形同造反，谢家岂肯干休？谢都督弃军私逃，朝廷必然不会坐视不理，诸位同袍何必逞一时意气，白白断送了自己的前程！”
胡彬也道：“看在谢安石的份上，大家暂且饶过谢万！此事朝廷自有处置。现在最要紧的是怎么解决目前的困境。”
诸将虽然心中不忿，到底不敢犯上作乱，只得作罢。没有主将，这仗算是打不成了，但是撤退顺序，是亟需解决的问题。
谢万在时，诸将有所顾忌，尚能勉强行动统一。主将南逃，诸位将军互不统属，营中又流言纷纷，有说燕军势大，北府兵惨败的。有说燕国十万大军，倾国而下，转眼及至，势不可挡的。淮水以南的诸军只想着撤退回淮水以南，依托淮水抗击燕军。河南诸军却舍不得自己的地盘，再说还有军属留在河南各地，不能弃之不顾。诸将无法达成一致，于是便各自引兵撤退。征调而来的民夫听说燕兵势大，纷纷结伴逃跑，一时间各军也不管辎重，丢兵弃甲，四处溃逃。各将的部曲私兵虽然恐慌，尚能围在主将周围听用，所征发的兵家子和招募来的兵马，则趁机四散而去。溃兵分散各处，又无辎重，难免祸害百姓，有三五成群向南逃得，也有趁势聚众落草的，不一而表。
胡彬看着满目疮痍的大营，仰天长叹：“宁肯为好汉子牵马坠蹬，不为赖汉子当祖宗！我胡彬却是在为谢万这个赖汉子牵马坠蹬！”
身边的部曲将胡范安慰道：“将军安心，这不是将军一己之力能够控制的！眼下诸军已退，咱们也撤了吧！”
胡彬看着身边剩下的五百部曲，叹息一声，纵马南归。