作爲陳橋兵變的重要策劃者，趙普還促使黃袍加身的宋太祖趙匡胤導演了一場古今權術家叫絕的“杯酒釋兵權”的悲喜劇。不凡的謀士遇見了不凡的皇帝，有功於社稷的趙普順理成章地當上了一人之下萬人之上的宰相，並且一干就是十年。有功的武將們雖然都回家了，地位雖然更加煊赫了，善造陰謀的老謀士、胥吏出身的趙普在太祖高舉的興儒大旗下，煩惱反而更多了，遭遇的尷尬事也愈來愈稠了。
據文瑩《玉壺清話》載，一天，太祖心血來潮，隨意向各位大臣問道：男尊女卑，爲何男子行跪禮，女子卻不跪？趙普支吾半天，答不上來。倒是前朝舊相王溥的兒子王貽孫告訴太祖，過去男女都行跪禮，到武則天當皇帝后，擡高了女子身份，女子方不再拜而不跪了。弄的趙普很下不了臺。趙匡胤雖是一介武夫，卻深知武力可以平天下不可以治天下的道理，所以很喜歡讀書人，也重用讀書人。《宋史·範質傳》裏記載，太祖曾對一生手不釋卷、廉介自持的太子太傅範質發出“真宰相”的感嘆。對讀書不是很多的趙普就時不時提出了尖銳的批評。
《長編》裏就記載了讓趙普非常傷心的一件事，改年號乾德不久，太祖在宮中看到一面銅鏡，背刻“乾德四年鑄”五字，大驚，就詢問趙普，趙普端詳半天，不知所以然。只好又把前朝翰林學士請來，竇儀看後說此鏡爲後蜀所鑄，當時用過這個年號。太祖立即就說出了“宰相須用讀書人”的話，讓趙普羞愧的無地自容。
葉夢得《石林燕語》裏也記載了這件事，不過趙宰相的表現更加丟人現眼。這日太祖想改年號爲乾德，趙普聽後，連聲讚美，說是前古未有，直吹地天花亂墜。翰林學士盧多遜站出來冷言道，這號僞蜀時曾經用過。太祖一驚，忙派史官去查，果如其言。大凡擬定年號，絕不可與前代相同。太祖感覺下不了臺，十分氣憤，就拿趙普出氣，用墨筆點畫趙普的臉罵他不爭氣。趙普很沮喪的回了家，因爲是天子聖筆，不敢洗掉，次日上朝時仍是大花臉。太祖又生氣又好笑，方下旨讓他洗去。
失落的趙普並沒有因此消沉下去，知道了讀書的重要性的趙普還是坐穩了宰相的位置。《鶴林玉露》、《東京事略》等都的有關於日理萬機的趙宰相每天下朝後就把自己關在屋子裏學習先秦聖哲語錄的生動記載，他把前朝君主、本朝功臣的業績都歸結爲孔夫子的教誨，故有“半部《論語》定天下，半部《論語》治天下”之說流傳。《宋史》記載：“（趙普）晚年手不釋卷，每歸私第，闔戶啓篋取書，讀之竟日，及次日臨政，處決如流。即薨，家人發篋視之，則《論語》二十篇也。”這些已是南宋及後人所言，當是在“半部《論語》”之說流傳之後的杜撰，不可全信。但趙普知道自己的不足就努力通過學習去彌補的精神還是很值得稱道的。
