呂調陽自幼好學聰穎，6歲便離家讀書。還在少年時便是當時名揚廣西的小秀才。嘉靖十三年(1534)，18歲的呂調陽鄉試中舉。嘉靖二十九年(1550)，呂調陽自廷試高中一甲第二名後，初授翰林編修。嘉靖三十五年，出任會試分校官，此後父母雙雙去世，他回鄉守喪。直至嘉靖四十二年，才重回翰林院，任國子監司業。
隆慶元年(1567)後，呂調陽先後出任南京、北京國子監祭酒。國子監歷來是教育管理機關和傳授儒家思想的國立最高學府，其中最重要的禮儀就是手捧酒杯對天祭祀，所以國子監的主管被命名爲祭酒。國子監簡稱國學，又稱大學。呂調陽在任時，重視道德教育，拋棄傳統的注入式，代之以啓髮式，並能以身作則。這年冬天呂調陽先後任禮部和吏部侍郎，不久升吏部左侍郎，相當於今常務副部級官員。
萬曆元年(1573)，明神宗登基。皇帝僅10歲，大權由內閣代理。同年6月，呂調陽受當時任內閣首輔的張居正舉薦，以禮部尚書兼文淵閣大學士入內閣參與機要政務。至此，呂調陽爲內閣次輔協助首輔張居正進行改革。
他以穩重不爭名震朝野，深得神宗器重，神宗尊稱其爲“先生”，從不直呼其名。至呂調陽去世時，官銜已爲光祿大夫、柱國太師;萬曆元年晉太子少保、武英殿大學士，同年11月晉太子太保;萬曆四年10月，晉太子太傅、吏部尚書;萬曆五年2月，又晉爲建極殿大學士。1580年去世，諡“文簡”。呂調陽去世那一天，神宗“輟朝一日”，下令全國致哀一天。
張居正給呂調陽極高的評價，讚譽他是當代的丙吉(西漢丞相，以寬鬆和諧，自己有貢獻有成績而不張揚著稱)，稱讚他“公質行長厚，餘獨心服其在政府，斷斷乎有古大臣之風”，“在漢丙吉，今也則公”。
