海瑞和宋朝的包拯一樣，是中國歷史上清官的典範、正義的象徵。然而，就是這位被稱之爲“海青天”的海瑞，在私生活上也有鮮爲人知的另一面。據海瑞侄女婿樑雲龍曾寫過《海忠介公行狀》一書，其中有海瑞“三妻兩妾”之說。根據這部書，史學家黃仁宇在《萬曆十五年》中說，海瑞“曾經結過三次婚，又有兩個小妾”，這個說法爲許多著作所繼承。但也有人說海瑞娶過六次七次妻妾，甚至還有“九娶”的說法，並說“瑞已耄，而妻方艾。”意思說，海瑞耄耋之年還娶年輕漂亮的女孩子做小老婆。
海瑞的第一位夫人許氏，爲海瑞生有兩個兒女。嘉靖25年，即1546年，海瑞32歲的時候，這位許夫人就被海瑞休棄了。許夫人到底是什麼原因被休，犯了“七出”中的哪一條?從“以大故所出婦許氏”的提法來看，許夫人似乎有過什麼大差錯，但是所謂的“大故”到底是什麼呢?也許是沒有生男孩。海家三代單傳，如若無後，如何面對列祖列宗?這是比較靠譜的理由。是否如此已經無從查考。不過許夫人年紀尚輕，生育問題似乎不成理由。另一種原因，可能是她與海瑞的母親海太夫人之間的婆媳矛盾有關。
接着海瑞又娶了王氏夫人。王夫人比較爭氣，在海瑞到達淳安之前兩年爲海瑞生了個兒子，取名中砥。海瑞到淳安任上之後的當年，王夫人又爲海瑞生了個兒子，取名中亮。王夫人還生了個女兒。
嘉靖43年，即公元1564年10月，海瑞被調到京都戶部任職，海太夫人不喜歡到寒冷的北方去生活，海瑞沒有辦法，只好讓王夫人攜同二男三女扶侍海太夫人從海瑞在江西興國縣令的任上南歸，而海瑞則帶了兩個僕人北上任職，這一年海瑞52歲了。
三年之後，也就是隆慶2年，即1568年7月24日晚上，王夫人突然病世，但也有人說是自殺身亡的。在王夫人去世前11天，海瑞的小妾韓氏上吊自殺。這兩件事聯繫起來，使海瑞的家庭生活變得十分撲朔迷離。韓氏爲何自殺?王夫人到底因何而死?這些事雖然已經成了歷史之謎，但是，這使海瑞在官場上卻有了非常不好的名聲。
海瑞還有一妾邱氏，史料中只說她爲晚年的海瑞生了一個兒子，但長到三歲就夭折了。海瑞於隆慶4年，即1570年4月申請退休，獲准後離開南京回家鄉瓊山閒居，從此離開官場15年，直到萬曆13年，即公元1585年正月，已經73歲的海瑞重新回到官場，到南京任都察院右都御史及吏部右侍郎之職。邱氏可能就是海瑞在家鄉閒居時所納的小妾。
當時，海瑞身邊至少已有一妾，他還要納一個年輕漂亮的女孩爲妾的正當理由是什麼呢?也許是爲了傳宗接代。但是納妾是要花錢的，這錢從哪裏來?不僅娶的時候要花錢，進門後的用度也要花錢，而作爲兩袖清風的清官海瑞怎麼會有大把的銀子頻頻納妾呢?
明代納妾的身價如何呢?在明代，如果要贖買一個色藝俱佳的名妓爲妾，通常需支付千兩白銀的身價。明末的那些秦淮名妓，恐怕還不止這個價。按明代小說《金瓶梅》中說，收婢女爲妾約需白銀五十兩，如果是討一個妾，就要百兩以上，一般需要三百兩銀子光景。這樣的話，海瑞用在娶妾上的費用就不會少，即便只有三次，怎麼說也總要三四百兩銀子。這對只取有限的法定俸祿的清官海瑞來說，不能不說是一個非常沉重的負擔，與他的生活貧困不能說沒有關係。要知道，這些費用差不多是當時一個七品縣令10年的工資了。
據有關史料記載，海瑞從嘉靖32年，即1553年十二月出任福建南平縣教諭，到隆慶4年，即1570年四月申請退休，海瑞當了十七八年的朝廷命官，回到家鄉瓊山時用“祿入”所得一百二十兩銀子買了一間房子。海瑞又買房子又納妾，那麼，他作爲一個兩袖清風的清官，怎麼會有這麼多的銀子花銷?也恐怕只能成爲歷史之謎了。
