抗戰後期，孔祥熙因鯨吞鉅額美金公債的醜聞被弄到了國民參政會。他再也混不下去了。1945年5月，他不得不“辭去”行政院副院長職務，7月又辭去中央銀行總裁職務。
1946年，孔祥熙在上海對其財產作認真清理，把能帶走的東西儘量轉移到香港和國外。1947年夏天，孔祥熙回到了他的老家山西太谷。
在太谷，孔祥熙隆重宴請了各親戚本家，然後與他們揖手告別。待一切準備充分後，他先讓夫人宋藹齡赴美，自己則於這一年秋天來到上海。幾天後，孔祥熙向蔣介石及國民黨中央發出一電，以“忽接家人自美來電，謂夫人染患惡病，情況嚴重”爲由，不等蔣介石批准，他隨即匆匆買了飛機票，飛往美國。
孔祥熙到美國後，住進了離紐約不遠的裏佛代爾一幢豪華的別墅。這是他早先花巨資買下的，他與夫人宋藹齡將長期住在這兒。另外，他們還在紐約郊區花160多萬美金買下了一幢高級住宅，同時，孔祥熙還在紐約最繁華的鬧市中心百老匯大街一家星級旅館，長期租了一個房間，每天租金150美元。如此高昂的消費，連美國富翁也自嘆弗如。
來到國外，孔祥熙已沒有很多事可幹了，除了陪他的夫人宋藹齡看病外，隔一天，他得到紐約去照看他的中國銀行。1950年，臺灣的蔣介石“總統府”聘他爲“資政”，但他遠在美國，這僅僅只是個榮譽性的頭銜而已。孔祥熙覺得自己“無官一身輕”，悠哉遊哉，他要在這所謂的“自由樂土”上無憂無慮地度過晚年。
然而，美國並非他所想象的那樣是塊安定的“綠洲”。美國總統杜魯門一直對國民黨貪官污吏將他們龐大的美援中飽私囊而憤憤不平。在杜魯門的直接命令下，美國聯邦調查局開始調查孔家、宋家在美國的財產，並對孔祥熙實施祕密監視。對此，孔祥熙惶惶不可終日。後來，孔祥熙找到一位美國的朋友，這個朋友給他出了一個主意。
首先，孔祥熙與這位朋友進行了多方面的幕後活動，終於打通關節，由美國參議院外委會及美國財政部公佈了一個類似“證明”的材料，說什麼在美國的全部華僑連同中國銀行在內，所有存款不超過5000萬美元，這就從側面否認了杜魯門關於10億美金的猜測。然後，孔祥熙破例接見記者，編造了一些謊話。他說:“我家祖輩父輩，歷來經營票號、商號，家產總算是富有的，不過，這幾十年來，由於通貨膨脹，戰亂頻繁，祖產大部分都損失了。本人投資於國內各工商事業的資本，這次大陸淪陷，也整個蕩然無存。民國以來的內戰，和大陸的淪陷，孔家損失慘重，目下生活所需，不過是剩下的一點積蓄而已。”言罷神情感傷，似乎他真的是一無所有了。
這一着果然奏效，聯邦調查局的監視、調查不了了之，孔祥熙的危機也隨之而解。
1954年，蔣介石在臺灣召開第二屆所謂“國民大會”。孔祥熙認爲重溫舊夢的時機已經到來，便突發奇想，回臺灣去參加競選“副總統”。爲了謹慎起見，便派曾任過臺灣省主席的魏道明先到臺北去探察行情。
此時的蔣介石對孔祥熙已不感興趣，他早把這位亡命美國的連襟忘到九霄雲外。爲了在臺灣重建蔣家王朝，蔣介石把希望放在了太子蔣經國的身上，他採取一系列措施，對國民黨進行改造，重新進行人事安排，重用陳誠等人，讓他們輔佐太子。這種格局逐漸形成，不可能讓孔祥熙插上一腳，臥榻之旁豈容他人酣睡。
魏道明一到臺灣，蔣介石就深知其意，連忙授意陳誠、蔣經國將孔祥熙的代表擋回去。於是，陳誠、蔣經國便命一家報紙發表文章，大罵豪門，矛頭直指孔祥熙，連魏道明也當作豪門走狗一併痛罵。魏道明自知不妙，灰溜溜返回美國向孔祥熙覆命。
孔祥熙的復出希望徹底破滅了，這對他的打擊很大，想到過去隨蔣介石鞍前馬後，拼死效力，沒有功勞也有苦勞，可現在蔣介石六親不認，只認親兒子，回首過去，自己實在荒唐。這以後，孔祥熙不再與聞政治，心中的政治慾火已如死灰一般，不再復燃。平時，他只參加一些公益活動，如爲慈善機構捐款，在大學設立獎學金等等，他像變了另外一個人，給人的印象，是老氣橫秋的面貌與萬般無奈的神情。
但隨着年齡的一天天增大，孔祥熙思舊與思鄉的情緒越來越強烈。每當他一人靜下來的時候，思緒就回到了他的山西。可如今那裏是共產黨的天下，他是回不去了。在思考很久後，他決計回臺灣，至於蔣介石是否歡迎他回去，他認爲回臺灣去當個普遍的平民，應該不會成問題的。
1962年10月，孔祥熙從美國飛回臺灣。蔣介石對孔祥熙的到來不冷不熱，雖然此時他兒子蔣經國的勢力已大，年邁的孔祥熙已不能構成其威脅了，但孔祥熙畢竟是經國的長輩，多一個這樣的人，對經國總是不太方便。因此，蔣介石只是對孔祥熙作了禮節性的拜訪和談話，然後給他安排了一個“國民黨中央評議委員會評議委員”的虛職，就不再理睬他了。
蔣介石的態度，令孔祥熙大失所望，只好忍氣吞聲、暫且住下再說。他覺得臺灣的生活環境十分親切，但生活在其中，又感到並不比在美國自由自在和心情舒暢。因此，孔祥熙在臺灣勉強過了三年四個月後，便以赴美治病爲藉口，於1966年2日28日再度離開臺灣，而且決心不再回來。當孔祥熙與一些故舊戚友握手道別時，忍不住老淚縱橫。
到美國後，孔祥熙與宋藹齡一道搬進了長島洛卡斯特谷菲克斯巷的一幢新別墅，他絕了一切幻想，死心塌地地住在那兒，邊看病，邊休養，生活過得幽閒而平靜。
1967年7月22日，孔祥熙起牀後，躺在軟靠背椅上，漫不經心地看報。突然，他感到身體極不舒服，家人急忙把他送往紐約的醫院診治。醫生們曾一度穩住了病情。但8月10日又開始惡化，8月16日死於紐約醫院，時年88歲。
