四月，御史萧之敏上书弹劾虞允文，虞允文上奏章等待定罪。
赵昚去德寿宫拜见赵构，太上皇赵构说：“采石大捷时，萧之敏在哪里？不要听从他的意见，将萧之敏罢官赶走。”
赵昚因这件事准备罢黜萧之敏，并在折扇上题诗以挽留虞允文。
虞允文认为萧之敏品行端正，请求皇上将其召回宫中以广开言路。
赵昚深感他为人宽厚善良，命曾怀将这件事记载在《时政记》里。
虞允文用他的宽容，连萧之敏都被感化。
赵昚诏令选拔谏官，虞允文推荐了李彦颖、林光朝和王质三人，他们三人皆为人耿直、光明磊落，并以文学才能著称于当时，因此虞允文荐举他们，很长时间却没有答复。
曾觌也推荐一人，立即赐进士，提拔为谏议大夫。
虞允文、梁克家据理力争，皇上不肯听从。
虞允文请求离职，被授予少保、武安军节度使、四川宣抚使，并加封为雍国公。他向赵昚辞行，赵昚告诉他进取的方法，并期待着有一天与他会师于河南。
虞允文说：“将来要防备内外不能遥相呼应。”
赵昚回答：“假如蜀军出征而我们迟迟不率军队出发，就是我有负于你；假如我率军出征而你迟迟未能响应，就是你有负于我。”
赵昚亲自来到正宫，敬酒赋诗，以隆重的仪式欢送他，并赐给他宗庙祭器。
乾道九年，公元1173年，虞允文到达四川。
这时，驻川官军每月仅发给一石五斗米，无法赡养家人。
虞允文捐献宣抚司三十万钱用以换米，按官兵家中人口数目增加供给。
虞允文订立七条民户养马以供军用的规则，从民间搜求大批良马，奏请皇上同意后挑选大批青壮年进行训练，作为战争储备力量。
赵昚曾经对虞允文说：“靖康之耻，我将与丞相共同雪洗。”又说：“我只有功业不如唐太宗，富庶不如汉文帝、汉景帝。”
虞允文向皇上许诺共同恢复中原，以图统一大业。
虞允文到达四川一年后，仍没有确定进兵日期。
赵昚赐密诏催促他，虞允文回答军需还没有准备完毕，皇上很不高兴。
淳熙元年，公元1174年，虞允文没来得及北伐，就去世了。
四年后，赵昚到白石举行阅兵大典，看到士兵都年轻力壮，很有战斗力，对手下大臣说：“这都是虞允文实行优胜劣汰，对士兵进行裁减淘汰的结果。”不久下诏追赠虞允文太傅，赐谥“忠肃”。
虞允文，最大的功劳，自然是采石矶之战，可惜，天不假其难，没能让他率军北伐。
史书记载虞允文身材高大，相貌雄伟，身高六尺四寸，为人慷慨，光明磊落，胸怀大志，一言一行都很有分寸，一看便知是可以委以重任的人才。
他早年曾以文学才能效力于台阁，晚年时时政日益艰难，前后出任将相近二十年，孜孜不倦，忠诚勤恳，任劳任怨，没有任何怨言，还为《唐书》、《五代史》做注释，著有诗文十卷，《经筵春秋讲义》三卷，《奏议》二十二卷，《内外志》十五卷，皆流传于后世。
古人讲将领分为勇将、大将、儒将等等。虞允文，可谓是杰出的儒将！他与秦桧比起来，同样为宰相，同是十九年，一个处处排除异己，陷害别人，自己捞钱，一个却宽容待人，勤勉职守。人之相比，真是天差地差啊！