來濟生於江都(今江蘇省揚州市)，祖籍南陽新野，東漢名將來歙十九世孫。高祖來成，北魏新野縣侯，後降樑，遷居廣陵，遂以此爲家。父親來護兒，隋朝名將，曾擔任左驍衛大將軍、左翊衛大將軍、光祿大夫、開府儀同三司等職，封榮國公，恩禮隆密，朝臣無比。
隋大業十四年(618年)，右屯衛將軍宇文化及發動政變，弒殺隋煬帝。來護兒不屈於叛軍，被宇文化及殺害。同時遇害的還有來濟的大哥來楷(時爲散騎郎、朝散大夫)，五哥來弘(時爲果毅郎將、金紫光祿大夫)，六哥來整(時爲武賁郎將、右光祿大夫)。 只有來濟和哥哥來恆因爲太小沒有被殺。來濟家族遭難後，流離艱險，而篤志好學，有文詞，善談論，尤曉時務。唐朝時舉進士。
貞觀十七年(643年)，唐太宗任命來濟爲通事舍人。太子李承乾因謀逆被廢，太宗命大臣討論如何處理廢太子，無人應答，只有來濟說：“陛下上不失作慈父，下得盡天年，即爲善矣。”太宗乃廢黜李承乾爲庶人，但是保下了他的命，並提拔來濟爲吏部考功員外郎。
貞觀十八年(644年)，太宗任命來濟爲太子李治的司議郎，兼崇賢館直學士，不久改任中書舍人，與令狐德棻等撰《晉書》。
貞觀二十三年(649年)，太宗駕崩，太子李治繼位，是爲高宗。
永徽二年(651年)，來濟任中書侍郎，兼弘文館學士，監修國史。
永徽四年(653年)，來濟拜相，被任命爲同中書門下三品。
永徽五年(654年)，加銀青光祿大夫，以修國史之功封南陽縣男，賜物七百段。
永徽六年(655年)，來濟拜中書令、檢校吏部尚書。
當時，高宗想以武昭儀取代王皇后，他首先賜武昭儀封號宸妃，來濟和韓瑗勸諫：“妃子有正常名額，現在另立名號，這是不行的。”
永徽六年(655年)，高宗將要立武氏爲皇后，來濟和宰相韓瑗勸諫說：“王者定立皇后，是爲了承嗣宗廟、做天下人的國母，應該選擇禮義名家、優雅賢淑的人，以符合國人的願望，迎和神靈的旨意。所以周文王立姒氏，《關雎》頌揚，恩澤施於百姓，其福就像那樣;漢成帝縱慾，以婢女爲皇后，國運中途衰微，其禍患就是這樣。希望陛下詳察。”
然而，高宗不顧來濟、韓瑗、褚遂良、長孫無忌的反對，廢黜王皇后，立武宸妃爲皇后。來濟等都不自安;武后上表稱來濟忠公，請加賞慰，但心中其實厭惡他們。
顯慶元年(656年)，武后之子李弘被立爲皇太子，來濟兼任太子賓客，進爵南陽縣侯，仍爲中書令。
高宗曾經問統治百姓的好辦法，來濟說：“過去齊桓公出遊，遇見老人，給他食物，老人說：‘請送給天下人食物，給他衣服，老人說：‘請送給天下人衣服。’齊桓公說：‘我府庫有限。怎能所有的人都給?’老人說：‘春天不妨礙農事，就有糧食;夏天不妨礙養蠶，就有衣服。，由此來說，減省徭役，是統治百姓的好辦法。”這時山東役使民夫，每年另外增加幾萬人，又商議用佣錢來代替僱工，紛亂煩擾，所以來濟是針對這些所說的。
顯慶二年(657年)，來濟又兼太子詹事。同年，許敬宗、李義府誣告來濟、韓瑗與褚遂良構成朋黨，準備謀反。褚遂良貶桂州(今廣西桂林市)都督，來濟貶台州(今浙江省台州市)刺史，韓瑗貶振州(今海南三亞市)刺史，終身不許回京。
顯慶四年(659年)，長孫無忌被逼自殺，柳奭(王皇后的舅舅)、韓瑗處死。
顯慶五年(660年)，來濟改任庭州(在西突厥十姓的邊界，今新疆昌吉回族自治州)刺史。
龍朔二年(662年)，西突厥部落進攻庭州。來濟統兵防禦，對部下說：“我曾經觸犯刑律，蒙恩赦免死罪，現在應當以身贖罪。”
於是來濟不穿甲冑，率軍出擊，力戰陣亡。時年五十三，追贈楚州刺史，供給靈車送回家鄉。
