倒地帽巾歪斜，振衣易位而坐，谓蔡系道：“公真奇人，差些弄伤我面。”蔡系答道：“我只争座位，从未思及公之脸面。”二人平和对答，皆未发怒，时人皆称许之，但暗嘲谢万颇显下作。
闲言休提，却说谢万既为豫州刺史，既命泰山太守诸葛攸为前督先锋，引军北进。诸葛攸奉命，遂引军攻拔东郡，入据武阳。燕王慕容儁闻之，遂命大将军慕容恪率兵五千击之。燕兵至于武阳，两下交兵未至十合，诸葛攸大败，还走泰山。慕容恪遂渡河略地，分置守宰而归。慕容儁见晋军不堪一击，遂欲就此经营秦晋，令各州郡校兵，每户各留一丁，余皆入伍。大臣刘贵上疏谏止，慕容儁遂更令三五发兵，来年冬季尽集于邺。因调发繁重，郡县深以为苦，太尉封奕复谏征遣，慕容儁从之。燕泰山太守贾坚以兵七百人镇守茌平，晋将荀羡引兵一万攻之。贾坚开城率兵迎击，因寡不敌众败俘，茌平遂陷于晋。荀羡亲劝贾坚道：“公世为晋臣，奈何为胡族用命？”贾坚昂然答道：“晋室自弃中原，非某为叛。民既无主，强则托命；某既已事燕人，安可改节！”荀羡大怒，绑置雨中数日，贾坚终不肯降，愤惋而卒。燕王命青州刺史慕容尘遣司马悦明以兵万余来救，复夺茌平，荀羡败逃，燕主遂以贾坚之子贾活为任城太守。荀羡败回徐州病笃，晋帝遂征其回朝，以北中郎将郗昙督徐、兖二州，镇守下邳。郗昙乃将门之后，毕竟用兵不同，遂到任后整饬城垣，厉兵秣马，待机北进。
升平三年，谢万与郗昙兵分两路，北伐前燕。谢万先遣征虏将军刘建修治马头新城，自亲率部众欲支援洛阳。其后郗昙因病退屯彭城，谢万却以为其是因前燕兵强而退，于是仓猝下令退兵，士众不战自行溃败。谢万只身狼狈逃还，部下欲趁谢万兵败杀之，只因敬慕谢安之故而罢其谋。谢万败退寿春，遂给王羲之写信道：“向蒙明公善意提醒，我反以小人之心度君子之腹，未肯纳之。今兵败取辱，方知惭愧，辜负明公殷切关照，悔之不及！”谢万此次溃败，令许昌、颍川、谯、沛等豫州各郡皆入前燕之手，果应王羲之此前预言。谢万回军淮南，朝廷罪诏既下，将其罢黜废为庶人。升平五年，朝廷欲重召谢万为散骑常侍，适逢其愤恨离世，享年仅四十二岁。朝廷深为叹惋，乃以散骑常侍为其赠谥。列位看官！想那东晋王朝，本来极重门户，也重家族精英，故因王导、谢鲲、瘐亮、桓彝、陶侃等，方乃成就江左王、谢、瘐、桓、陶各世家大族。今谢鲲已丧二十余年，家族渐衰，谢家本欲以谢万作跳板更上一层楼，再复家族昔日荣光。至谢万被废，犹如跳板被抽，则谢氏家族利益失去政治保障，反而前功尽弃，一切要重新开始矣。此时谢安二兄接连去世，弟谢万又被黜废，为不使家道中落，谢安只得重返政坛，屈志出任桓温参军。史谓东山再起，年已四十余岁。
晋升平四年正月，燕主慕容儁大宴群臣于蒲池阁，酒酣赋诗。因多贪了数杯，宴罢回宫病重，自觉不起，于是召皇弟慕容恪至榻前嘱道：“朕病体虚弱，恐不能久矣。人生修短，乃命中注定，复有何憾！