到开宝（968976）中叶，天子临朝，群臣讨论国事时，科举背景的文臣日渐显示出优势，尤其是言及典章制度建设，大都纵论古今，引经据典，侃侃而谈。其中卢多逊以博闻机敏，深得太祖赏识，先后出任知制诰、翰林学士，也就是天子身边草拟诏书的近臣。
卢多逊出身进士，不仅饱学，而且奏言精巧多称圣意，不过为人却轻率，汲汲于功名，也好权谋一套，故与赵普关系不睦。卢氏任翰林学士后，自恃天子恩宠，经常攻击赵丞相的短处。据宋人笔记记载：某次，他与赵普同时上殿论事，太祖决定将年号改为乾德，并得意地称此号自古未有。赵丞相随之附和叫绝，卢学士却冷冷地说：这年号伪蜀已用过。天子大惊，这还了得，大宋年号竟与伪邦小国相同！当即令人去查，结果确如所言。皇帝勃然大怒，一边骂赵普：你理论得过他吗？一边顺手拿起笔就抹到赵普的脸上。赵普回到家中，整晚上不敢洗去面部的墨迹，直到次日上朝才在天子的命令下洗掉耻辱印记。这段资料出自百年之后，大可不必全信，却也说明赵、卢两人关系的紧张，也反映出太祖对文臣之首寡学的不满。其实，此事背后明显有太祖借机压制赵普的动机存在。
开宝四年（971），赵普在京师起第修宅，规模宏巨，仅抹墙的麻捣就耗资一千二百贯钱。须知，当时一石粮食还不值一贯钱。其间，他派人到秦陇一带购买巨木，那些俗吏乘势打着丞相府的旗号，搞一些贩卖发财的勾当，这便触犯了官府的禁令。主管财经的三司使报告到天庭，丞相带头破坏规矩，影响过于恶劣，太祖十分恼怒，几乎要下旨罢免赵普相职。
人要糊涂起来，坏事接踵而来。赵丞相又犯了一个不该犯的大错，就是不该与枢密使结亲。
按照本朝规矩，宰相与枢密使并为两府首脑大臣，分别负责行政和军政，互相牵制，以防相互勾结架空皇帝，这一点赵普当然清楚。但在开宝五年，他竟忘记避嫌，糊涂地为儿子迎娶了枢密使李崇矩的闺女。天子闻听，顿时警觉起来，是可忍孰不可忍，大宋皇帝难道成了摆设不成？时隔不久，被流放西北的雷德骧之子雷有邻，跑到京城控诉当朝丞相包庇纵容部下诸事。太祖一看机会来了，当即令御史台审查。审验下来，自然大都属实。皇帝于是传旨对相府奸吏治罪，特赐雷有邻秘书省正字官衔，又命参知政事与宰相轮流掌管相印，以分割相权。明眼人一看，就知道赵普失去了天子的宠信。
到开宝六年八月，太祖终于下诏免除赵普的相位，随之也把那位不识相的李崇矩免职。耐人寻味的是，素与赵普有隙的卢多逊却升为参知政事。至此，压在太祖心里的一块石头终于卸下，可以长吐一口闷气。而昔日的军师，心头却压上了那块石头。
当然，天子对这位开国勋臣还是心存感激，不可能一棍子打死，遂授予其河阳三城节度使的头衔，再加授检校太傅、同平章事，打发他到地方赋闲。说起来，这的确有点卸磨杀驴的味道。
这一年，赵普刚52岁，仍是精力未衰之时，却猛然间被投闲置散。要说朝廷对他的安排，表面上看仍属礼遇，论级别论待遇都相当优厚，节度使加上同平章事的丞相头衔，就是所谓的使相，名位至高，其俸禄比在任宰相还要高许多。不过，他却完全远离了权力中心，无法过问朝政。