孔子說"惟女子與小人爲難養也，近之則不遜，遠之則怨"，將女人與小人相提並論。最近，武漢大學教授陳文新在"國學班"上課時，對孔子爲何發出如此感嘆，推測出兩種原因：一是孔子可能在談戀愛的過程中受過挫折;一是孔子婚後家庭生活不太美滿。孔子談戀愛過程中是否受過挫折，不得而知，如果真有其事，不知道是不是與長得不帥有關。高安俠在《另眼看孔子》一文中提到，孔子是一個"白眼仁多，黑眼仁少。鼻孔外翻，牙齒縫大。腦袋四周高中間低，活像個倒扣的痰盂，而且個頭也不高"的人。長成這等形狀，談戀愛時遭女性拒絕取笑，落下心理陰影也不是不可能。
不過，孔子的婚姻生活不太美滿卻是真真切切的--孔子是個離過婚的男人。孔子那個時代不叫離婚，叫"出妻"，也就是後來說的休妻。關於"出妻"，古代禮書中有"七出"的規定，即妻子在七個方面(無子;淫佚;不事父母;多言;盜竊;妒嫉;惡疾)的任何一個方面"有問題"，丈夫都可據此宣告解除婚姻。孔子出妻是有據可考的。《禮記》記載："門人問諸子思曰，’昔者子先君子喪出母乎?’"子思是孔子的孫子，這裏是門人問子思："從前你的父親爲被休出的母親穿孝服守喪禮嗎?"宋代大儒朱熹對此有註解："伯魚之母出而死。"伯魚是孔子的兒子，這段史料證明孔子確實離過婚。
依我猜測，孔子是一個以事業爲重的男人，爲了推銷自己的學問，獲得君王的採用，長年周遊列國，形如喪家之犬，哪裏顧得上老婆孩子。做妻子的上要照顧老人，下要撫養孩子，還長年見不到丈夫，其辛酸苦悶可想而知。無論多任勞任怨的妻子，也難免嘮叨，甚至生氣抱怨。每當此時，估計學成文武全藝，卻沒能貨與帝王家，只能教教學生混口飯吃的孔子，也會有一肚子的氣無處發泄，夫妻之間的矛盾在所難免。
時間長了，雖聖人如孔子也可能會厭煩起妻子和婚姻來，最後找了個理由將妻子掃地出門，某一天借酒澆愁時發了一番"惟女子與小人爲難養也"的感嘆，被門人記錄下來，成了孔子歧視女人的口實。儒家講修身、齊家、治國、平天下。"一屋不掃，何以掃天下?"孔子活着時沒有在政治上混出大名堂，不知道是不是因爲家沒有"齊"好。在女權主義高漲的時代，提倡男女平等的今天，我們不必責怪孔聖人的偏見，畢竟瑕不掩瑜。孔子不是還教給我們一個辦法麼："擇其善者而從之，其不善者而改之。"
