，对他非常冷淡。而郭嵩焘本就文人气十足，再加自己是皇上亲派，并且明确他与僧是“平行”，不是“随同效用”，所以也咽不下这口气，因此两人合作极不愉快。1860年元月，郭嵩焘被迫离开山东返京，悲叹“虚费两月搜讨之功”，“忍苦耐劳，尽成一梦”。
回京后，他受到“降二级调用”的处分，虽仍回南书房，但实际已是闲人，被冷落一旁。他在给曾国藩的信中报怨说：“久与诸贵人周旋，语言进退，动辄生咎。”
素有识人之明的曾国藩早在岳麓熬夜看书时就指出郭嵩焘识见过人，但书生习气过重，能著书立说，更是出主意的“高参”，却不堪官场的“繁剧”。曾国藩在评价肃顺屡兴大狱、以严刑峻法整顿吏治时说得很清楚：“国家致弊之由，在以例文相涂饰，而事皆内溃；非宽之失，颟顸之失也。”“今一切以为宽而以严治之，究所举发者。仍然例文之涂饰也，于所事之利病原委与所以救弊者未尝讲也。是以诏狱日繁而锢弊滋甚。”“向者之宽与今日之严，其为颟顸一也。颟顸而宽犹足养和平以为维系人心之本，颟顸而出之以严，而弊不可胜言矣。”“故某以为省繁刑而崇实政为今日之急务”。也就是说，根本原因在于“一切以为宽”，即吏制本身存在巨大缺漏。使各级官吏有机可乘，时时面对巨大的利益诱惑；而“向者之宽”，即吏治早已废弛松懈，在这种环境中能长期抵挡巨大利益诱或、洁身自好者毕竟不多，因此造成了“无官不贪”的局面。在这种情况下，突然仅用重典严惩的贪官污吏再多其实也只是少数。反使各级官员人人自危，这不仅不能从根本上解决问题，而且“锢弊滋甚”，很可能祸及自身。解决问题的根本之途在于“崇实政”，即对制度本身进行改革，这样才能既“省繁刑”，又使政治清明。国家稳定（放到后世用现代的语言来讲，就是说zheng fu面对的是自身的“系统性**”。所谓系统性**是指只有以**作为润滑剂，zheng fu部门才能提供“正常”的公共服务。在这种系统性**中，**实际已经成为官员行事的常例，成为他们的一种生存手段，久而久之内化为一种不会引起内心道德冲突和愧疚感的规范，而不同流合污者必然受到系统性排斥，这反过来使**更加严重、更加猖厥、更加根深蒂固。退一步说。在系统性**中即便是得到“圣上”的支持，严肃处理个别贪官也无济于事，因为仅仅是孤立地处理一个又一个贪官，并不能遏制日益严重的系统性**，更不能从根本上清除**）。
郭嵩焘当时并不清楚，他自己的悲剧正在于此。他“生于末世”却又不愿同流合污、不忍眼见“大厦倾”，因此想要凭一己之力起弊振衰。但纵然他“才自清明志自高”，但终难免“运偏消”的结局。
1860年4月，被冷落一旁的郭嵩焘怀着孤愤郁闷的心情以回籍就医为由黯然返乡。在家乡过了两年的赋闲生活后，郭嵩焘又在众人的劝说下。应练就淮军不久、人手紧缺的李鸿章之邀，于1862年唇再度出山，任苏松粮道，不久又