，把他拘押了起来。接着完颜雍释放了他，令他回去禀告宋廷，妥妥善商量和议之事。汤思退于是暗中唆使王之望、户部侍郎钱端礼等，故意上奏称守备不足，国库已经空虚，请以符离之败为鉴，停战言和。
孝宗于是令王之望、钱端礼两人，宣谕两淮，还召张浚担任宰相之职。张浚此时正在大造战舰，号令两河豪杰，锐意起兵。同时他令降将萧琦统领降兵，发檄文给辽人，约为声援。可是这钱端礼到了淮上，竟然派遣人上奏，说什么“名曰守备，守未必备，名曰治兵，兵未必治”等话。
张浚得知，非常愤怒又恼火，回到平江，就上表乞求退休，共有八次。孝宗于是任命张浚为少师，兼保信军节度使，南判福州。侍御史周操，请求留下张浚，反被罢斥。张浚走到余干，积郁成疾。他弥留之际，遗书嘱咐儿子张栻、张枃说道：“我曾经担任相国，却不能恢复中原，洗涤国耻，死后不当葬我先人墓侧，但葬我在衡山下就可以了。”
不久他的讣闻传到朝廷，孝宗非常思念张浚的忠心，刚开始赠他太保，又赠他太师，谥忠献。张浚素有大志，终身不主和议。孝宗即位，非常倚重，称他魏公而不称名。只是可惜张浚忠勇有余，才智不足。张浚父亲张咸，定居于四川绵竹，其家世代以有德行闻名。哲宗绍圣初年，张咸又一次参加制科考试预试，宰相章惇批阅他的对策，因为张咸并没有批评元祐时期的政策有误而大怒，仅授其为签书剑西判官。张咸失去了进一步举试的机会。
张咸仕途不顺，于是越发注重行善积庆，给后人积福。有一天午睡时，他梦见神人从天而降，对张咸说道：“上天让你的儿子以德为名，做宰相。”张咸大惊而醒。不久，张浚便出生了。当时张浚的兄长已被张咸取名为张滉，张咸不想为张滉改名，于是为张浚起名，并取字德远。
苗傅、刘正彦曾经雇人刺杀张浚。张浚在秀州时，警备甚严，曾经夜里有客至前，从怀中掏出一张纸说道：“这是苗傅、刘正彦招募刺客刺杀你的赏钱。”张浚问道：“那你想怎么办？”那人说道：“我是河北人，粗读书，知逆顺，岂能被贼所用？特见你守备不严，恐怕有后来者而已。”张浚下执这名仗义刺客的手，问其姓名，但不告而去。
张浚得罪了秦桧，被贬到零陵，随身只带了几箱子旧物。秦桧诬告说那里面都是张浚和蜀地旧部往来策划谋反的书信，以为抄家缴来，至少可以在其中发现一些不利于张浚的私物。昏君赵构当真派人去抄来，在朝堂上打开却只看到一些书籍，虽然也有书信，但里面都是忧国爱君的话。此外就是破旧衣服。
昏君赵构大出意外，非常感动，说道：没想到张浚竟然一贫如此。于是派使者
追赶去送他三百两金。秦桧又对外宣称说是去赐张浚死，指望张浚会有错误的反应，自杀或者反叛。消息传到零陵，张浚的左右哭之，张浚说道：“我的罪过固然当死，如果象外面传的那样，死了向国家谢罪也没什么，你们为什么要哭？”张浚