1949年12月，蔣介石退守臺灣前，派自己的心腹陳誠接任“臺灣省主席”。1950年3月，蔣介石在臺灣正式恢復了“總統”的職務。不久，陳誠接替閻錫山成爲“國民政府”的“行政院長”。1958年，陳誠在臺灣身兼“副總統”“副總裁”和“行政院長”三要職，成爲國民黨“二號人物”。
在晚年，看似“恩深骨肉”的蔣陳，開始出現隔閡。1963年，因爲“反攻大陸”的計劃，陳誠與蔣介石發生了很大的衝突。陳誠對蔣介石說，一旦反攻的號角響起，他仍會請命出征，但他不同意貿然地“反攻”。陳誠晚年與蔣氏父子的關係，外界傳得撲朔迷離。有人說，蔣介石在臺灣的最後一步棋，就是讓他的後代統領大政。雖然陳誠儘可能提攜、幫助蔣經國，但對兩蔣的工作作風仍不能認同，甚至出現抵制。蔣介石對陳誠的忠心是不懷疑的，可要是影響到蔣經國的接班，那就另當別論。陳誠心知肚明，決心辭去“行政院長”之職。
1965年3月，陳誠病危，他招來長子陳履安代筆口授遺言：第一，希望同志們一心一德，在總裁領導下，完成國民革命大業。第二，不要消極，地不分東西南北，人不分男女老幼，“全國”軍民，共此患難。第三，黨存俱存，務求內部團結，前途大有可爲。
這65字遺言，思路清晰，內容完整，是他對人們提出的要求，也是對自己一生經驗的總結。然而，人們不難發現，遺囑中並未出現“反共”或者“反攻”這類詞語。遺言發表前，有人想要在陳誠的遺言中加上“反共、反攻”一類的內容，陳誠夫人譚祥不同意。她找到蔣介石，蔣介石同意不修改。
1965年3月5日，陳誠因肝癌病逝。蔣介石下令全體軍政機關、部隊、學校、團體等下半旗誌哀。公祭及殯葬之日，“國防部”下令三軍爲陳誠服喪。
