楊堅除了他的成就，還有很多的缺點，如喜怒無常，猜疑心重，容易受讒言所惑，時常命令左右窺視臣下，如有過失，則加重罪。這是文帝的短處，並且因而貽害子孫。
猜疑忠臣最典型的是高熲。楊堅的妻子獨孤氏是北周重臣獨孤信的女兒，而高熲的父親則是獨孤信的屬下，還被賜姓獨孤。所以，楊堅和高熲的關係也非同一般。而且後來在楊堅建立隋朝時，高熲立下了汗馬功勞。楊堅稱帝后，高熲被任命爲尚書左僕射，爲重臣之一。
楊堅對高熲極爲信任，甚至把他當成自己的鏡子，說他可以糾正自己的過錯。如果有人進讒言誣陷高熲，楊堅從來都不相信，反而把告狀的人治罪。高熲的官職已經無法再往上封了，可見在楊堅的心目中高熲的重要性。但在以後對於立太子的問題上，兩個人發生了矛盾。
當時，楊堅對楊勇已經不滿，打算立善於僞裝，博得他和獨孤皇后信賴的楊廣爲太子。但高熲並沒有覺察楊堅的意思，極力反對廢立太子。楊堅認爲是高熲在爲私利和他作對，因爲高熲的女兒是楊勇的妻子，如果以後楊勇即位，那高熲作爲岳父，其地位之高可想而知，說不定會效仿自己，取代隋朝自立爲帝。因爲楊堅是通過外戚這個身份奪取帝位的，所以對於高熲的位置的敏感性極強，但高熲卻沒猜到楊堅的這些想法。
楊堅後來借處理另一個大臣王世積時，將高熲牽連進去，但只是免了官職，廢爲平民，沒有置他於死地。
楊堅在晚年的猜疑有時顯得很可笑。他爲了禁止官員貪贓受賄，竟派人去向官員行賄試探，如果有人敢收下，就立即處死。
有次，一個武官的衣服和佩劍不太整齊，楊堅就說是對他的不敬。他不是治武官的罪，而是說御史沒有盡到責任，因爲御史是專門監督官員的。所以，楊堅就處死了御史，諫議大夫站出來勸止楊堅，竟也搭上了性命。
早期立法有功勞，晚年壞法有過錯，這就是楊堅的前後對照。楊堅晚年還大量使用法外酷刑，即杖刑，在宮廷裏就經常放着棒子。後來，高熲勸說之後，楊堅曾經把杖棒廢除，但他打人時嫌鞭子抽打力量太小，於是，又恢復了杖刑。
在中國古代社會，行刑一般要在秋天，叫順應天意，即秋天葉子要落，氣氛肅殺。而春天萬物復甦，要生長了，這時嚴禁獵殺動物，不許破壞幼小樹木。總起來說，就是春夏行賞，秋冬處罰。楊堅在晚年時卻破壞了這種歷來的習慣，在夏天時就要殺人，有大臣反對，他狡辯說，夏天時老天爺有雷電暴雨，這也是天意在發怒。
楊堅的迷信程度很重，不但信佛教、道教，還信陰陽五行、鬼怪、符瑞、土地神、山神，還有龍王，他都信。在北周時候，武帝曾經滅佛，楊堅這時則予以恢復，下令百姓可以自願出家。楊堅在各地大建佛寺，正因如此，隋唐的佛教才興盛起來。
楊堅文化程度不高，認爲文化沒用，學校也沒必要。到了公元601年，楊堅便將郡縣的學校全部廢除，只留下了中央的國子監，供官員貴族子弟們讀書。
