他得了疟疾，卧床不起。
李隆基每日派遣使者数十人，前去探病，每遇军国重事，都命黄门监源乾曜去征求他的意见。
后来，李隆基采纳源乾曜的建议，命姚崇搬入四方馆居住，并准许他的家属侍疾。
姚崇认为四方馆存有官署文书，不是病人居住之地，极力推辞。
李隆基道：“设置四方馆本就是为官员服务，朕安排您住进来，是为国家考虑。如果可能，朕恨不得让您住进宫里，您不要推辞！”
这一事，可见李隆基对他是何等的重视！
可惜，晚年的姚崇，还是栽在了儿子的坑爹上。
古往今来，很多人自己很成功，无奈在教育儿子上很失败，所以，最终遗憾而终。
姚崇自己勤俭节约，京城里连个府邸都没有！
他的一生，座右铭就是“以不贪为宝，以廉慎为师”，在唐朝国力达到鼎盛，而他个人的官位达到至极的时期，依然“耸廉勤之节，塞贪竞之门”，过着十分俭朴的生活。所以，他买不起京城市区的房子，全家人只得住在离朝廷较偏远的郊区。
他很廉洁，可是，他的儿子却未必廉洁。
其子姚彝、姚异，仗着父亲是宰相，广交宾客，招权纳贿，无所不为。
中书主书赵诲接受胡人贿赂，因事情败露，被李隆基定为死罪。
姚崇因为事情牵连儿子，对赵诲不能不营救。
李隆基对此非常不悦，在赦免京城罪囚时，特意在敕文中注明，将赵诲流放岭南。
姚崇见了，为此忧惧不安，知道自己的威信在皇帝那里已然没有了！当下数次请辞相位，并推荐广州都督宋璟继任宰相。
李隆基对姚崇已经失去了信任，当下罢去他宰相之职，改任开府仪同三司。
开元九年，公元721年，姚崇病情严重，眼看要死去，他看到自己的仇家张说重新起用，当下嘱咐儿子说：“我死之后，张说出于礼节，一定会来吊唁。你们可将我收藏的珍宝器皿全部陈列出来，他最喜爱这类东西。如果他看都不看，那你们就会有危险了；如果他看了，你们就将他喜欢的送给他，并请他为我撰写神道碑。你们得到碑文后，马上誊写，呈报皇帝后立即雕刻。张说一定会后悔，必会索回碑文，你们就告诉他已经呈报皇帝。”
他这个做法，就是为了保住家族的延续，因为，张说在姚崇刚死，还有一定的威信时，是不会下手的；而一旦人走茶凉，姚崇死后一两年，他记起仇恨的话，那姚家就岌岌可危了！但是，张说拿了姚家的东西，为姚崇写了碑文，那就不一样了，他再也不能对姚家动手！
真不愧是宰相啊！真是老狐狸！
姚崇死后，张说果然跟他料想的一样，来参加他的悼礼，拿走喜欢的珍宝，并为他写了碑文，给他很高的评价，但他随即后悔，派人索回，说是需要修改。
姚崇之子告诉来人，说碑文已通过皇帝审阅。
张说知道后，懊悔地道：“死去的姚崇还能算计活着的张说，直到今天我才知道自己的才能不如他！”
他知道，此生再也不能去找姚家报仇了！
姚崇终年七十二岁。
属于他的时代已经过去，接下来，大唐是宋璟展示政治才能的舞台！