張廷玉雖然在雍正時期享有很高的地位，但他並非沒有仇敵。一些人在他執政期間因為被打壓或排擠而對他懷恨在心，而這些人在雍正去世後上臺，對張廷玉進行了報復。
另外，張廷玉在處理財政時有些失誤，讓一些豪門家族受到了影響，這也加劇了他與這些人的矛盾。加上他的兒子在江蘇等地當官時貪汙受賄，讓他的政治形象受到了損害。
最終，在雍正去世後的乾隆年間，張廷玉的政敵抓住機會，以其涉嫌貪汙等罪名將其罷免，並將其家族抄家，導致張廷玉落得悽慘的結局。
其實張廷玉在雍正年間還是一直得到皇帝的信任和器重，但在他去世後，他的兒子張瑞昌繼承了父親的衣缽，但並沒有繼承父親的才華和品德。
張瑞昌當上了尚書，開始插手朝政，但他卻違背了父親的遺願，收了很多賄賂，而且嫉惡如仇，擅自處置官員，眾人皆知，甚至引起了當時的首輔在內的多位大臣的不滿和反對。
張瑞昌在濫用職權之後，終於被雍正皇帝發現了。雍正對張瑞昌的反感與日俱增，而且他認為張瑞昌的行為已經損害了清朝政治的公正和穩定，於是他決定對張瑞昌進行嚴懲。
於是在1733年，雍正皇帝下令查抄張廷玉家產，指控張瑞昌收受賄賂，並且指責張家的家風敗壞。張瑞昌遭受到牢獄之災，最終被判死罪。
可以說，張瑞昌的敗落和死亡與他自身的品德和才能水平有很大關係。他在政治上的無能和貪婪，使得他的父親的榮耀和功績也為之抹殺。
