清官之難，難在身正。俗話說，“打鐵還需自身硬”。如果只是張嘴大喊清廉，自己及家人卻照貪不誤，就無法約束部下，遏制貪腐。張伯行一生歷任督撫要職，任所多在富庶繁華之地。但他生活簡樸，衣服飲食，始終保持寒儒本色，不取屬地民衆一錢一物，有些做法，甚至到了不近人情的地步。
康熙四十六年，張伯行初任福建巡撫，當地官員按照老規矩，給他的官邸佈置一新，錦繡帷幕，金銀器皿，奢侈豪華，不僅沒有獲得讚許，反而受到嚴厲批評。張伯行認爲如此奢靡的陳設，“吾生平未嘗用此”。尤其是當他得知，這些華麗用品都是百姓分擔承辦，立即斷然拒絕，下令歸還百姓，只取前任官員舊物使用。
從福建調任江蘇巡撫，從偏遠之地來到繁華的大都會，人皆喜之。張伯行卻深懷戒懼，如履薄冰。有了在福建的教訓，這回他入境之前，就先行下令，禁止鋪設官署。等他來到官邸，四壁徒然，僅小桌一張、牀榻一副，儘管陳設簡陋，他卻恬然自得。有屬官寫詩讚嘆道：“一架繩牀供衆同，坐虛使院仰清風。”他個人在江蘇官署的日常用度，大多從河南老家帶來，儘量不用公家錢物。無錫縣令每日送來的惠山泉水，是他享受的最大饋贈。但當他得知，這些泉水全是科派百姓運送，就堅辭不受。
清代的官場，上下級之間饋送成風，行賄受賄、貪污腐敗現象十分嚴重。張伯行對這類“潛規則”深惡痛絕。他初任江蘇按察使時，依陋規要給總督、巡撫等上司饋送“見面禮”，大約需白銀4000兩。這幾乎是他二十年的俸祿。不貪污從何而來?張伯行說，我做官不取民一錢，怎能置辦這種陋規!他贈送上司和同僚的見面禮，只是家鄉的土特產，不值幾個錢。督撫大員心懷怨恨，皆謝絕不受，張伯行卻我行我素，心懷坦蕩。
張伯行出任過很多要職，尤其是做封疆大吏時，位高權重，其僚屬門生等攜禮拜謁，他都一律謝絕。在福建巡撫任上，張伯行寫了一篇《禁止饋送檄》，張榜於官署、巡撫衙門外：“一絲一粒，我之名節;一釐一毫，民之脂膏。寬一分，民受賜不止一分;取一文，我爲人不值一文。誰雲交際之常，廉恥實傷;倘非不義之財，此物何來?本都院既冰櫱盟心，各司道亦激揚同志。務期苞苴永杜，庶幾風化日隆。”這篇包含六個“一”的拒禮檄文，傳頌甚廣，被收入清代許多文集、筆記，人皆譽之爲爲政清廉的“金繩鐵矩”。
張伯行爲官兩袖清風、廉名滿天下。但清廉之外，他爲官恪盡職守，能爲百姓辦實事、辦好事，德才兼備，政績卓著，使他真正成爲一代名臣。
治理黃河水患，是張伯行走向仕途的起點。張伯行的家鄉河南儀封縣城(今河南蘭考)，距黃河故道不足三裏，常受洪水的威脅。康熙三十八年夏，黃河氾濫，洪水涌入城內，情勢萬分緊急。當時居家讀書的張伯行當機立斷，招募民工，築堤截水，救儀封城於危難之中。河道總督張鵬翮視察他所修築的河堤後，大爲驚奇，向朝廷奏請張伯行參與治河。張伯行參與當地治河工程，先後督修黃河南岸河堤200餘里，籌劃水道，使蓄泄得宜，漕運暢通。因他盡心河務，勤敏辦事，爲人誠實，卓然有守，又被推薦去山東濟寧道治理水患。到任後，他清理財庫弊政，革除陳規陋習，每年爲河庫節省數萬金不當開支，保證了治河工程的財政支持。他總是出現在治河的一線工地，親自督理工程，終使水患消弭，重現沃土肥田。
民以食爲天，官以民爲本。這是中國傳統的政治原則。張伯行爲官，總把百姓的需求放在第一位。他到濟寧上任時，當地正發生大饑荒。面對災情嚴峻，他首先從河南家中運來糧米、趕製衣物，免費分發，以解災民燃眉之急;然後一邊申報朝廷，一邊發放倉谷兩萬餘石救濟災民。當地巡撫指責他擅動倉谷，張伯行爭辯說：災情重大，如不急加賑濟，災民性命不保，誰來承擔這個責任?假如因擅動糧谷而問罪官員，恐怕以後官員們都以此爲戒，只求自保，不顧百姓性命，流弊更爲巨大。
張伯行這種爲民造福的實幹精神，在福建巡撫任內，表現得更爲淋漓盡致。他賑濟災荒，平抑米價，設置社倉，儲備荒年;廣設學校，修建義塾，培養人才，刊刻書籍。同時，他整治屬吏，獎廉懲貪，鎮壓豪強，打擊惡吏，一時間官吏士民競相奉法，社會秩序井然。又毀淫祠數百所，裁減僧尼，不到三年，福建民風淳樸，百姓安居樂業。這些政績充分顯示出張伯行的行政能力，受到了士民讚譽，稱他“居官若父母，訓士如良師”。
