朕辜负你；如果朕已经行动而你仍在犹豫，那就是你负了朕。”又亲临正衙酌酒、赋诗，为他践行。
乾道九年，虞允文抵达成都就任。当时四川宋军每月领米一石五斗，不能养家。虞允文得讯后，捐出宣司钱三十万换米，按照士卒家中人口增给米数。除此之外，他还订立户马七条，搜括民马，“奏选良家子”，以备将来的战争使用。
四川北部有一位名为寇邻的首领，率领数万人活动于商、虢二州间，在虞允文任相时归顺。到了虞允文镇蜀时，他又派人向四川方面去信联系，但虞允文未作回复，只是照旧羁縻而已。之后寇邻的密谋泄露，被金国暗中逮捕。宰臣叶衡将此事奏报朝廷，虞允文上疏自辨，请求纳禄，孝宗未批复。
孝宗曾对虞允文有共同洗雪“丙午之耻”、北伐中原的期许。但虞允文镇蜀一年，并没进兵计划。孝宗下密诏催促，他却称军需还没有准备完备。淳熙元年，虞允文因积劳成疾，不幸病逝，享年六十五岁。孝宗闻讣讯，为之辍朝，追赠少师。
孝宗因虞允文镇蜀时没有实现北伐计划，心中颇为衔恨。在虞允文死后，“凡宣抚使饰终之典，一切不用”。到虞允文举荐的赵雄拜相之后，屡次为他申辩，称其有志于恢复，但是不幸逝世，才无法完成使命。淳熙四年，孝宗在白石大规模阅军，赵雄上奏称军中都是年少健壮之人。孝宗感叹道：“之前虞允文进行裁汰之法，如今才见成效。只谈采石一事，也是奇绝。”次年，赵雄拟请加赐虞允文赠谥，孝宗同意，并删去赵雄所拟写的诏书中“久在相位，实著勋劳”八字，将所赠太师之官改为太傅，谥号“忠肃”。
虞允文为左丞相时，受到御史萧之敏弹劾，他上章待罪。宋孝宗前往德寿宫时，赵构说道：“虞允文在采石立功时，萧之敏在何处？不要听任虞允文去职。”孝宗于是将萧之敏外调地方，又亲自在扇面上题诗，以挽留虞允文。虞允文认为萧之敏为人端庄正直，请求召他回朝，以开辟言路。孝宗认为虞允文所言宽厚，特命大臣曾怀将此事写在《时政记》中。
为庆贺乾道八年的孝宗生辰，完颜雍派外戚乌林答天锡作为使臣来宋祝贺。乌林答天锡为人傲慢不恭，坚持要求孝宗下榻问候完颜雍的起居。孝宗不肯答应，他便长跪不起，一旁侍臣都惊愕失措。于是虞允文请求孝宗先回宫中，并命知閤门事王抃告诉乌林答天锡说道：“大驾既已动身，便难以再度临朝。使臣到来，且随班向陛下祝寿。”乌林答天锡闻言，惭愧退下，次日随群臣觐见孝宗。
梁克家外和内刚，自从虞允文去后，他独自担任宰相数月。他和张说论及外交，意见大多不合，于是也乞求
外调，出任建宁府知府。张说喜欢欺罔，渐渐被孝宗察觉，这才加以罢免。
乾道八年冬天，孝宗又拟想改元。元旦之时，改为淳熙元年。左相空缺不设置，右相也多有变更。曾怀、叶衡等人一会进、一回退，却庸庸碌碌，没有什么建树。叶衡还举荐左司谏汤邦