史載，秦始皇的母親趙姬行爲很不檢點，先是做投機商人呂不韋的小妾，懷孕兩個月(多數人認爲懷的就是後來的秦始皇) 後，又被呂不韋獻給秦國的王孫子楚，子楚繼位後稱莊襄王，莊襄王死後，身爲太后的她仍經常與呂不韋重溫舊情。
《史記 呂不韋列傳》中記載：“始皇帝益壯，太后淫不止。”後來她又與繆毐私通，並生下兩個兒子。繆毐甚至於酒後大罵衆臣：“我乃秦王假父，怎敢與我鬥口乎?”母親的失檢行爲令秦始皇惱羞成怒，無地自容，使他心理壓抑，性格變得極爲複雜：內向、多疑、妄想、專制、暴虐、冷酷無情，把他變成了一個失去理性的暴君，最後徹底暴發，殺了兩個私生子弟弟;將嫪毐五馬分屍，曝屍示衆;將其母趕出咸陽，並遷怒於呂不韋，罷免其相國之職，後又下詔命呂不韋“速徙蜀中，不得逗留!”並且給呂不韋寫信說道：“你對秦國有何功勞?秦國封你在河南，食邑十萬戶。你對秦王有什麼血緣關係?而號稱仲父。你與家屬都一概遷到蜀地去居住!”呂不韋一想到自己已經逐漸被逼迫，害怕日後被殺，就喝下鴆酒自殺而死。
因母親帶來的心理上的陰影一直伴隨着秦始皇，而且由對母親的怨憤，發展和泛化成對一切女人的仇視，造成他後來在婚姻上的偏執。儘管他的後宮裏充斥着六國佳麗，但他只是把她們當作發泄和仇視的對象，或者滿足生理需要的工具。
秦始皇對統一六國後收入後宮的衆多佳麗非常鄙視，痛恨她們拋棄亡國之辱而媚悅新主的行徑，但對守貞重節的女子卻倍加讚賞。據說有一個年輕寡婦名清，她數年如一日遵守婦節，秦始皇曾賜令她“旁座”，與自己平起平坐，而秦時就連當朝丞相在皇帝面前也只能站着，少有賜座之事。秦始皇還爲這名寡婦修築了一座“懷清檯”，以彰揚其事蹟，至今蜀中有一山名貞女山，便是該寡婦曾經寡居的地方。
所以說，由母親的行爲而形成的心理傷害和心理扭曲，由怨母而仇視女人，是秦始皇一直不立皇后的一個重要原因。
