郭嵩焘署理广东巡抚，被筹饷、治军、内政搞得筋疲力尽的时候，左宗棠率军入闽，追剿太平军余部汪海洋部和李世贤部。尽管最后二人合作剿灭了太平军余部。但二人的私交却因此决裂。
郭左二人的芥蒂始于同治四年三月，太平军余部进入闽南漳州，对浙江和广东都构成了极大的威胁。当时左宗棠所部驻防于闽省东北，由于太平军转进江西的去路已然被截断，太平军及可能入粤，作为广东省百姓衣食父母的郭嵩焘忧心如焚，派人去请淮军的郭松林部和杨鼎新部由海道前往广东协防。而时任闽浙总督的左宗棠为了防范太平军汪海洋部转进浙江，李世贤部逃往台湾，奏调娄庆云部、席宝田部由江西进入广东协防，而且军饷由广东负担。而郭嵩焘认为娄庆云军应“专责严防江境”，于是奏请娄军停止入境，结果惹得左宗棠大为不快。
随着军情紧急，郭嵩焘仍力促淮军入境，防堵太平军，而左宗棠则奏请淮军回防江苏，坚决不欢迎老对头李鸿章的淮军部队到来，同时，为了闽浙的安全起见，左宗棠甚至打起了“以邻为壑”的主意，想要把太平军余部尽数驱赶入粤，结果和郭嵩焘发生了激烈的争论和冲突。不久朝廷任命左宗棠节制闽、浙、粤三省军务，左宗棠从法统上取得了督粤的权力也就是领导郭嵩焘的合法性。为了不让郭嵩焘再阻碍自己，左宗棠连上四折参劾郭嵩焘，不过不是说军事布署上的事，而是称郭嵩焘“筹饷不力”，尤其责备粤省督抚不和，“至督臣之于抚臣，虽有节制之义，然分本等夷，彼此当以协恭为尚。遇有意见不和，则力争之，退则依然朋友之素，此和而不同之君子也。若必以相忍为和，则树党养交，弊从此起。臣下之利，非朝廷之利，臣愚以为臣下意见不妨时有，而是非要不可不明。”并且在折子里还提供了广东巡抚的候选人，迫使朝廷罢免郭嵩焘的意思非常明显。结果郭嵩焘被免职，被迫归乡闲居。
对于左宗棠的作法，郭嵩焘直到现在也还都想不通：
“……最不可解者，与某公至交三十年，一生为之尽力……嗣是一意相与为难，绝不晓其所谓，终以四折纠参，迫使去位而后已。意城在湖南寓书告其某公力相倾轧，问有所闻否？鄙人尚责其不应听信浮言，迨奉解印之信，始知其四折相逼之甚也。”
郭嵩焘想不明白，二人同为湘籍，更有姻亲之谊。谚云打虎亲兄弟、上阵父子兵，于私于公，左郭二人都应和衷共济，共襄军务为是，却不曾想左宗棠竟然做得如此出格，令郭嵩焘愤恨不已。
更加过分的是。左宗棠随后还给郭嵩焘发了一封私函：“遇有龃龉，应据实直陈，各行其是，惟因争权夺势相倾轧则不可耳。……”
“阁下力图振作，而才不副其志，徒于事前诿过、事后弥缝，何益之有？”
“因忠而愤，以直而亢，知我罪我，听之而已。”
这等于是在骂人之后。再加上一句，我骂就骂了，你爱咋咋地。左宗棠等于在郭嵩焘的伤口上又撒了一把