采石之战后，虞允文升任兵部尚书、川陕宣抚使，在上任的路上，他和地方主要将领会商攻金战略，提出了“以大军出关辅，因长安之粮以取河南，因河南之粮而会诸军以取汴，则兵力全而饷道省，至如两河，可传檄而定”的战略，并上奏宋高宗，又申报当时当太子的宋孝宗。吴于是出兵陕西，收复西北三路的十六州大片地区。六月，孝宗即位，参知政事史浩主张退守四川，虞允文前后上疏十五次，力争不可弃陕西新复失地，但没有被采纳。等到四月宋孝宗起兵北伐时，东线虽取得胜利，但川陕一带有利的态势已经失去，不但没有能配合北伐，甚至失去了在西线的牵制作用。虞允文随后朝见宋孝宗，再次力陈放弃西北三路十六州地区的利害关系，宋孝宗恍然大悟，将史浩罢相出降地方。乾道元年，左相陈康伯罢相之后，宰相位置出现空缺，参知政事钱端礼一个人主政。同年三月，虞允文又升为参知政事兼同知枢密院事，钱端礼一心想升宰相，陷害虞允文，于是虞允文被罢官而授宫观，回四川家乡闲居。
宋孝宗并没有忘记他，几年之后，虞允文被重新启用，再次知枢密院。是年五月，大将吴死，虞允文任知枢密院事兼四川宣抚使，接替吴镇守西疆，这是宋孝宗对虞允文的极大信任，因为四川局势直接关系到南宋政府的存亡，虞允文也不负所望，在他的带领下四川军政面目一新。