乾隆十三年，三朝元老张廷玉接到了为官47年来的第一个处分，处分不大，仅仅只是罚俸禄一年，但就这么一个处分，也把张廷玉吓了个半死。
处分张廷玉的原因并不复杂，乾隆十三年，孝贤皇后病逝，皇帝让翰林院编写皇后的祭文。皇帝对于去世的皇后，重视程度非比寻常。一篇祭文，被检查了很多遍，但依然可以让皇帝找出瑕疵来。皇帝认为，"泉台"一词用于普通人家还可以，用在皇后身上，则非常的粗陋了。因此，翰林院上下，被从头到尾的处分了个遍，就连老臣张廷玉也没能幸免。
其实，一早张廷玉就有感觉到，皇帝对自己有些不满，乾隆十年之时，一直与自己处于分庭抗礼的状态，被先帝所器重的满洲大臣鄂尔泰病逝后，满朝也只剩下他这么一个老臣了。而皇帝一直在有意培养自己的亲信，许多讷亲之列都排在了张廷玉的前面，这无疑是作为对张廷玉的打压。
在处分之后，张廷玉只要打算告老还乡。不过乾隆并没有同意他的请求，理由是，张廷玉深受先帝后恩，在死之后自然是要配享太庙，怎么能提前退休。言外之意，不过是让张廷玉为爱新觉罗家族侍奉至死罢了，只是，谁也没有料到，这其实是张廷玉噩梦的开始。
配享太庙于文臣而言，是至高无上的荣耀，而张廷玉为了这个太庙，在后来可是干了一系列的蠢事。本来乾隆皇帝一再有意让他继续留任，耐不住张廷玉的一再恳求，念在他也算干了几十年的份上，而且还是自己的老师，所以也就同意了张廷玉的请求。
但万万没想到，在此时有大臣进言，认为张廷玉没有资格配享太庙，而此时的张廷玉慌了，竟然敢要求皇帝给他写下"保证书"，保证他死后一定可以配享太庙。虽然非常的无礼，但皇帝也认了。可是写了之后，没有想到的是，张廷玉竟然让儿子来谢恩。这件事情让乾隆恼羞成怒了。
接下来的事情，张廷玉可就没有那么好过了，乾隆给出的做法非常的考究，可以赏赐张廷玉配享太庙的荣耀，但是他的爵位就必须要收回了。所以给他保留荣耀的同时，收回了他的爵位。而张廷玉好死不死，竟然敢在皇长子过世期间，再一次的提出回乡的请求，这一次，乾隆被彻底激怒。罢黜了张廷玉配享太庙的资格，而张廷玉也只好马不停蹄的'"逃"回了安徽老家。
虽然张廷玉回到了家乡，但乾隆依然没有放下心来，毕竟在朝野中，还是有许多的"张党"。此时，张廷玉的亲信朱荃因为贪污而下狱，作为亲信又是经张廷玉的亲家，所以乾隆皇帝以莫须有的罪名，收回了许多前朝皇帝给张廷玉的赏赐。
乾隆皇帝安排的是近臣德保执行的没收工作，而这位大臣将工作可是非常的做到位了，把没收变成了抄家，将张廷玉的家里翻了个底朝天，所有的文字之手全部都给带走了。不过，在这一次的抄家工作当中，没有收获想要的。张廷玉作为一名文人，特别是在退休之后，难免会写一些东西，记录自己的生平过往，还有经历过的大小事情。特别是他又在朝为官，难免会对史实品评一翻。不过张廷玉十分的谨慎，什么文字资料也没有找到，对于朝廷的事情，更是只字未提。也正是因为他的谨慎，保全了全家的性命。
乾隆二十年，张廷玉病逝的消息传到了宫里，乾隆皇帝得知消息，还是动了侧隐之心，想到曾经是自己的老师，又是自己的助手，最后只落得个抑郁而终的下场，实在是太可怜了。既然已经没有了威胁，还是给予他配享太庙的荣誉吧。为此乾隆皇帝还特意为他下了一首诗，大概意思是，张廷玉虽然有过错，不过我还是原谅了他。只可惜此时的张廷玉已经过世，只怕是没有机会高兴了。不过他可是大清王朝唯一一位可以配享太庙的汉人大臣，这身后的荣誉于后人也是至高无上的。