朋党问题是中国政治史上的一个痼疾，它的危害性一言以蔽之，搞不好就会导致一个王朝的灭亡。所以乾隆皇帝对朋党问题非常警惕。他即位之初，朝中形成了鄂、张两大朋党，明争暗斗，虽然这个时期朋党活动跟以前的朝代相比，并不明显，极为轻微，但是乾隆皇帝的执政风格是防微杜渐，防患于未然，他誓言要在他这一朝，彻底打掉朋党这个政治顽疾。
在乾隆开始动手前，乾隆十年，鄂尔泰得病死了。于是，乾隆打击的重点就落在了张廷玉身上。乾隆深知，要打击朋党，必须先打击这个山头的核心人物，只有这样才能使这个山头的人群龙无首，不攻自散。所以鄂尔泰死后，乾隆一直在观察张廷玉，想抓他的小辫子处理一下。
幸亏张廷玉这个人在朋党问题上特别谨慎，绝不轻易帮别人说话，也绝不轻易介入各种人事纠纷。他的名言是什么呢？“予在仕途久，每见升迁罢斥，众必惊相告曰：此中必有缘故。余笑曰：天下事，安得有许多缘故。”
但鄂尔泰死后，张廷玉还是越来越害怕，因为他知道皇帝要打击朋党，肯定要找他的茬。所以张廷玉感觉，自己退休的时候到了。
乾隆十三年正月，按照宫中的惯例，乾隆宴请大臣，吃完饭后，乾隆和张廷玉聊了会天。七十七岁的张廷玉看皇帝情绪不错，就提出了退休请求。他说自己“年近八旬，请得荣归故乡”（《张廷玉年谱》）。 张廷玉认为乾隆应该会顺利批准他的请求。一个是他给乾隆祖孙三代服务了这么多年，尽心尽力，应该让他歇歇了。另一个，乾隆现在已经不用他上早朝，所以他认为，乾隆不太需要他这个人了，应该会很高兴地放他回家。
让他万万没想到的是，乾隆没批准。
为什么呢？因为虽然乾隆不太喜欢张廷玉，但也并不是完全不需要他这个人。在乾隆看来，张廷玉虽然年纪大了，但是毕竟经验丰富，留在朝中，给自己当当顾问，还是可以发挥余热的。万一有什么突发事件，乾隆以前没遇到过的，张廷玉还能给出出主意。
所以乾隆回答说：“卿受三朝厚恩，且奉皇考遗命，将来配享太庙，岂有从祀元臣归田终老之理？”一心想要急流勇退的张廷玉，马上回答说，配享的大臣，不见得都得干到死，比如明太祖就允许刘基回了老家。
张廷玉没想到，他的这句话一出口，乾隆的脸色马上就变了，一下子冷若冰霜。原来他引用的刘基这个典故，触动了乾隆一根敏感的神经。刘基是明初开国功臣，但后来，朱元璋过河拆桥，让他退休，后来又偷偷派人下毒，把他毒死了。张廷玉提到刘基，让乾隆敏感了。乾隆认为，这是前两年不让张廷玉上早朝，张廷玉心怀不满，用这个典故讽刺自己对功臣不够意思。
因此乾隆很生气，马上引经据典，拿大道理压人。他说：为人臣者，当法始终如一之荩臣。如诸葛亮，尽忠一生，此乃人臣之表率。人臣不可存图逸之心。
张廷玉一听这话，“免冠叩首”，“呜咽不能自胜”。七十多岁的白胡子老头，跪在皇帝面前痛哭流涕。
乾隆看他这个样子，也不忍心再说什么了。
申请退休却受到乾隆严厉批评，被指责为不忠诚，张廷玉当然胆战心惊，只好打起精神，继续到朝中点卯。不久之后，孝贤皇后病逝，张廷玉被“罚俸一年”，这个事，更是使张廷玉吓破了胆。他步入仕途四十七年没犯过任何错误的纪录就这样被打破了。乾隆十三年之后，乾隆皇帝性情大变，接下来，他是不是还会受到更大的打击呢？因此张廷玉日夜提心吊胆，精神总是高度紧张，老得就更快了。到了乾隆十四年，七十八岁的张廷玉牙齿都掉得差不多了，面上到处都是老年斑，腿脚越来越不好使，要是没有人搀着，已经没办法长距离走路了。
张廷玉的身体变化，乾隆当然看在眼里。他发现乾隆十三年到乾隆十四年这一年，张廷玉老得太快了，思维明显不如以前清楚，说话有时也颠三倒四了。乾隆心中也不免感叹岁月无情。乾隆十四年十一月，有一次他召见张廷玉，聊天的时候，关心了一下张廷玉的身体，说，最近身体怎么样，我看你老得挺快啊！张廷玉赶紧抓住这个机会，详细把自己身上的几种老年病说了说，说皇上啊，我实在是干不动了。
这一次，乾隆动了恻隐之心。这个张廷玉，固然为人有取巧的一面，但是四十多年如一日为爱新觉罗家族工作，也确实不容易，不如放他回老家去享几年清福吧。所以乾隆发布谕旨说：张廷玉这一年老得太快了，因此，特批同意他退休。
张廷玉大喜过望，自己这辈子总算功德圆满，能得个善终了。
可惜，人的命运往往难于捉摸，就在一切本来都安排得很好的时候，又节外生枝了。这次节外生枝，可以说是张廷玉年老糊涂，自己犯的错。
申请退休成功之后，张廷玉心中一块大石头落了地，但是另一块石头却悬起来了：鄂党的一位重要人物——大学士史贻直，经常和张廷玉作对。史贻直就经常在乾隆面前进谗言，说张廷玉这个人确实不够忠诚，又没有什么丰功伟绩，没有资格配享太庙。如果自己回老家之后，史贻直在皇帝面前再进谗言，乾隆耳根子一软，真的取消了自己的配享资格，那可怎么办呢？一想到这儿张廷玉又睡不着觉了。
在家中琢磨了几天，张廷玉终于下了决心，决定豁出老脸，再进宫一次，面见乾隆，请求乾隆做出一个保证，保证他不会推翻雍正的遗嘱，让自己在死后，还会配享太庙。
乾隆十四年十一月中旬，张廷玉冒着深冬的严寒，颤颤巍巍地再一次进了紫禁城，跪倒在乾隆面前，说明了自己的这个忧虑，说我这辈子啊，挺满足，就是一样，不放心身后的事，因此“免冠呜咽，请一辞以为券”（《清高宗实录》）。
这个事让乾隆十分意外，也十分不高兴。自己从来没有说过不准张廷玉配享，张廷玉却提出了这样出格的要求，这明摆着是信不过自己这个主子啊。不过张廷玉毕竟早年做过他乾隆的老师，后来又是顾命老臣，如今哭哭啼啼，跪在自己面前，他不好意思撕破面皮，更何况自己已经答应让张廷玉退休，那么干脆就送佛送到西，让他高高兴兴走吧。这样也能创造一段与三朝元老有始有终的历史佳话。
所以乾隆就同意，专门发布一道保证张廷玉以后会配享的诏书。但是张廷玉出宫之后，乾隆一个人坐在那儿越想这个事，心里越不是滋味，所以他写了一首意味深长的诗，派人送给张廷玉。诗的内容是什么呢？
造膝陈情乞一辞，动予矜恻动予悲，
先皇遗诏惟钦此，去国余思或过之。
可例青田原侑庙，漫愁郑国竟摧碑，
吾非尧舜谁皋契？汗简评论且听伊。（《御制诗文全集》)
这首诗啊，很值得琢磨。前四句很好理解，你到我面前，跪地陈情，请我给你一个保证。这一举动，令我不免起了恻隐之心。先皇的遗诏，我当然会遵守，你原本不必担心。但“可例青田原侑庙”，青田，是指刘基，刘基是浙江青田人。他得到了配享资格，同时又曾经退休，所以乾隆说，有刘伯温的先例，我就同意你退休回。 “漫愁郑国竟摧碑”，这个典故可就有点不祥了，郑国是指唐代的名臣魏徵，魏徵被封为郑国公，生前很荣耀，但是死后，唐太宗翻旧账，认为魏徵犯了很多错误，下令把他坟前的碑给砸了。最后两句“吾非尧舜谁皋契？汗简评论且听伊。”尧舜是有名的圣君，皋契是当时有名的贤臣。这句话是说我算不上尧舜之君，我也不知道，谁可以称得上是皋契那样的贤臣？背后的意思即是你原本没有皋契那样大的功劳，父皇让你配享，现在看，你也许不够格。这两句诗里有很大的情绪。
张廷玉兴奋之下，看到皇帝的这首诗，也没太影响心情。按道理说，乾隆皇帝这确实是破例施恩，一般皇帝都不可能同意给大臣写什么保证书，所以按朝廷惯例，第二天早上他应该亲自进宫去谢恩。可是他年近八旬之人，昨天进宫已经折腾了一天，太累了，第二天早上他没爬起来，就命他的儿子张若澄，替他到宫中谢恩。
张廷玉没想到，这个小小的疏忽，可惹来了大祸。
乾隆原以为，如此施与“特恩”，第二天一大早张廷玉肯定早早前来谢恩，所以乾隆起床后呢，就在那儿等着。谁料跑到宫里来的，是张廷玉的儿子。本来已经对张廷玉不满很久的乾隆，心中的怒火一下子被点燃了。
乾隆马上命军机大臣写了一道圣旨，令张廷玉“明白回奏”！
当天写旨的军机大臣，是谁呢？恰好是张廷玉的门生，叫汪由敦。汪由敦知道，乾隆皇帝这次发火，可是非同小可，他生怕张廷玉倒大霉，因此连忙派了一个小厮跑到张府，把这个消息传过去，让张廷玉好有所准备。
不料这事弄巧成拙，张廷玉不知是老糊涂了还是被吓糊涂了，犯了一个更大的错误：第二天一大早，天还没亮，他就勉强支撑着，跑到了宫中，跑到乾隆面前，去叩头请罪。这真是一个再愚蠢不过的举动了。为什么呢？因为乾隆皇帝命他明白回奏的谕旨，按理要第二天上午才能发到张家。就是说，谕旨还没发到家，张廷玉就已经提前知道这件事了。这分明是告诉了皇帝，有人向张廷玉传递了消息。
军机大臣当中，居然有人敢于泄露朝廷机密，乾隆认为，这是再明显不过的朋党行为。自己打击朋党十多年，没想到在眼皮底下，居然有人敢这样干。乾隆打击张廷玉，出发点就是要打击朋党，不过以前他一直没抓住真凭实据。现在，就是这个关键时刻，真凭实据自己送上门来了，乾隆不会再放过机会了。如果说，在此之前，乾隆对于怎么处理张廷玉还没有做出最后决定的话，那么，这一事实，却让乾隆决心必须把张廷玉一党彻底打散。因此乾隆当面把张廷玉痛骂了一顿，赶出宫中，又花了一整天时间，亲自写了一篇上谕，公布天下。上谕中说：
今日黎明，张廷玉即来内廷，此必军机处泄露消息之故……朕为天下主，而今在廷大臣因师生而成门户，在朝则倚恃眷注，事事要被恩典，及去位而又有得意门生留星替月，此可姑容乎？（《清高宗实录》）
乾隆宣布，“著削去伯爵”，以示惩罚。汪由敦呢，也被革去了大学士之职。乾隆索性直截了当地指出，张廷玉实在不应当配享太庙：“试思太庙配享，皆佐命元勋，张廷玉有何功绩勋猷而与之比肩乎？”（《清高宗实录》）
后来乾隆又把历代配享之臣列了个名单，送给张廷玉阅读，并让他明白回奏，你比得上这些人吗，配得上配享之荣吗？
乾隆这一问，七十八岁的老臣张廷玉还能怎么回答？他只好回奏说：
臣老耄神昏，不自度量，于太庙配享大典，妄行陈奏…… 敢恳明示廷臣，罢臣配享，并治臣罪。（《清高宗实录》）
于是乾隆明令取消了张廷玉的配享资格，把他赶回了老家。张廷玉费尽苦心要平安收场，没想到，最终却丢了伯爵和配享两项荣誉，一生的努力，付之东流。
处理了张廷玉之后，乾隆终于出了一口气，他如此羞辱张廷玉，就是为了告诉大家，张廷玉已经彻底失宠了，以后谁也别再想攀附他了。果然，满朝大臣都吓得噤若寒蝉，张廷玉出京的时候，居然没有一个人敢给他送行。可见乾隆打击朋党，确实是起了作用了。
乾隆十五年春天，张廷玉灰头土脸地回到老家。地方大员们为了避嫌，没有一个人出面迎接，只有一位侄子，带着几个家人，抬着一顶小轿，把他接进了祖上的老屋。
然而，噩运却没有到此为止。朝廷中又出了一件事：他的儿女亲家，四川学政朱荃，犯了贪污罪，被乾隆抓起来了。
这件事发生得真不是时候。一抓起朱荃，乾隆就想到了张廷玉。因为朱荃最初被提拔起来，就是因为张廷玉的举荐，何况后来张廷玉又和他做了亲家。朱荃成了贪污犯，张廷玉显然举荐有误。乾隆一生气，决定收回三代皇帝对张廷玉的一切赏赐物品，以示对张廷玉的惩罚。
根据《清高宗实录》记载，乾隆十五年七月，乾隆派出了一个自己特别信任的人，内务府大臣德保，去执行这个任务。德保出门之前，乾隆特意把他召进宫内，在他耳朵边秘密嘱咐了几句话。
这一年八月，钦差大臣德保来到了张廷玉家。张廷玉率领全家，跪在门口迎接。他早早就遵旨，把康熙以来，三朝皇帝赏赐给他的一切东西，包括字画、珠宝以及衣服器物什么的收拾到一起，打包准备交给德保。谁也没想到，德保身边不但带了十多名随从，还从知府那里，借来了二百名士兵。这二百士兵进了张家，不由分说，开箱砸锁，挖地三尺，抄了张廷玉的家。张廷玉一家人目瞪口呆，只能眼睁睁在旁边看着。
好在张廷玉的清廉并非虚言。抄了半天家，也没抄出什么财产。不过，德保却带走了抄家过程中翻出来的所有带文字的东西，书籍、文章、信件，乃至张廷玉写的便条，都带回了北京。
原来，德保出京之前，乾隆在他耳朵边嘱咐的，是到了张家，一定要借查找皇帝赏赐字画之名，严格检查张廷玉的私人文件及藏书，看看其中有没有对乾隆的不满之词。
把这些文件带回北京，细细审查了半个月，德保一无所获，他对这位张阁老不禁佩服得五体投地。张廷玉是一个文臣，进士出身，文人嘛，谁也保不住有心情不好的时候，会用文字发泄一下，也保不住会在书信日记中，品评品评当朝人物，说几句牢骚话。但是张廷玉却没有这样做。在他的数百封私人书信中，没有一字涉及政治。张廷玉回家后确实编了一本年谱，即《张廷玉年谱》，不过，在这本年谱中，他只是详细记载了三朝皇帝对他的“恩遇”“赏赐”，虽然细到哪一天皇帝赏了他几块萨其马，给他一个小荷包，却没有一字，涉及对朝政的品评。
虽然逃过了一死，但经过一次抄家，张廷玉的名誉却彻底扫地了，在政治上已经死亡。经过这场问罪，张党完全被击垮了。门生故吏都最终确认，张廷玉在政治上，绝对没有翻身的机会了，因此树倒猢狲散，各寻出路，从那之后，再也没有人敢登张廷玉的门，张党终于不复存在了。乾隆打击朋党，终于以全胜结局。
经过这场打击，张廷玉彻底灰心丧气。乾隆二十年，回到家中苟活了五年之后，张廷玉终于死了。
消息传来，乾隆也感到一丝悲痛。毕竟他们君臣相处了十四年，回想起张廷玉一生的所作所为，他感觉自己对张廷玉确实苛刻了点。毕竟，张廷玉为大清辛辛苦苦工作了近五十年。于是乾隆皇帝又做出眷念老臣的姿态，宣布宽恕张廷玉的一切过失，仍然命他配享太庙。
到了乾隆四十四年，乾隆曾写了一篇文章，回忆自己驾下曾经工作过的五位大学士。其中关于张廷玉，乾隆写了这样一段话：
张廷玉虽有过，余仍不加重谴，仍准以大学士衔休致，及其既卒，仍令配享太庙。余于廷玉曲示保全，使彼泉下有知，当如何衔感乎？