武則天一生給高宗李治生了四個兒子，長子李弘，次子李賢，三子李顯，四子李旦。長子李弘在655年被封爲代王，次年，原太子李忠被廢黜，李弘就成爲了皇太子。可是這個李弘二十三歲就英年早逝了，他的弟弟李賢便接過了太子之位。這個李賢是武則天四個兒子中最聰慧的，據《唐書》記載，他小時候讀書便能過目不忘，而且舉止端莊，很受高宗喜愛。李賢當太子之後，便召集了一幫學者爲《後漢書》作註釋，史稱“章懷注”，因此，李賢也被人稱爲“章懷太子”。李賢雖然學識淵博，卻並不熱衷政治，一心只想着書立說，這讓武則天有些不滿。
儀鳳四年(679)五月初三，武則天的寵臣明崇儼被盜賊殺害，此人精通巫術，並且風姿英俊，和武則天的關係極爲曖昧。在搜捕盜賊的過程中，武則天突然得到密報，太子的一個家奴趙道生主動自首，說自己受太子指使殺死了明崇儼。武則天立刻派人搜查太子府邸，竟然找到了三百餘副甲冑。於是，太子李賢便以謀反罪被捕入獄。對於太子造反一事，高宗始終持懷疑態度，因爲他很看好李賢，所以便下令三司會審，但最終也沒能幫太子洗脫罪名。太子李賢最後被廢爲庶人，流放到了巴州。
長子夭折，二子又被貶爲庶人，三兒子李顯便被立爲了太子。弘道元年(683)，病懨懨的李治終於駕崩了，太子李顯繼承了皇位。他身上遺傳了父親的善良和軟弱，所以即位之後，很多事情都要請示母后才能作出決斷，朝政實際上依然被武則天把持。
後來，他漸漸不滿於充當母后手中的操線木偶，便試圖利用外戚的勢力，組建自己的勢力集團來和武則天抗衡。當時，裴炎受高宗遺詔輔政，李顯覺得他處處掣肘，便準備提拔韋皇后的父親，自己的岳丈韋元貞當侍中。裴炎堅決反對，李顯大怒，便衝着裴炎吼道：“我是皇帝，我要把天下給韋元貞都行，更別說一個小小的侍中了!”
裴炎無言以對，便將此話原封不動地轉述給了武則天。武則天看到李顯如此愚蠢，還氣焰囂張，便將他貶爲廬陵王，趕出了長安。從此，李顯便開始了漫長的軟禁生涯。
