景祐二年（1035）二月，李迪终于被逐出相府。李迪事后对人说：我自以为宋璟，而以夷简为姚崇，不料他待我竟是如此！这得说明，宋璟和姚崇是唐朝玄宗皇帝时的两位贤相。李迪说此话，是以前人的贤能暗讽自己对手的刻薄。
王曾以前曾是吕夷简的恩公，正是在他的屡次推荐下，吕夷简才登上次相之位。想当年，吕夷简对王首相甚为恭谨。李迪被贬之际，有人代表王曾向他表达了复相之意，并说：王公对你不薄，要善待之，不要再像对待李迪那样。他不仅笑着答应，还表示要将首相之位让于恩公。这当然纯属姿态，不会得到君王的首肯。
正所谓此一时，彼一时，纵然是昔日恩人，只要对自己的权势构成威胁，吕丞相同样不能容忍。直言敢为的王曾进入中书后，吕夷简专断大权，毫不谦让，昔日的上下级不可避免地发生了抵牾，最终两人势同水火。
两年后的四月，王相公忍无可忍，便依据传闻向仁宗控告吕夷简招权市恩。但仔细调查一番，却证据不足，惹得天子甚为不悦。事已至此，王曾只得自请罢相。为了消除天子的疑心，并博得进一步的信赖，吕夷简采取了暂时退让之策，主动辞去首相之职，赴许州（今河南许昌市）做地方官。这一年，他已58岁。
吕夷简之所以主动辞职离朝，是因为摸透了庙堂的门道，也琢磨透了仁宗的脾性，才敢于采取以退为进之策。当然，他不会一走了之，而是再施权术，通过荐用庸才的手法，为自己的复出铺垫了道路。在他的密荐下，天子拜王随、陈尧佐为相。
王随和陈尧佐二人，既年老多病，又庸碌无才，绝非宰相合适人选。果不出吕夷简所料，王、陈主政后，措置无方，又与参知政事韩亿、石中立意见不合，经常发生争吵。于是，王随以养病为名，五日才去一趟中书，而陈尧佐年事已高，政事积压，迁延难理，中书一时被嘲笑成养病坊。言官们遂上疏抨击宰执的无能、徇私，要求罢免宰相，起用能臣，其中就提到吕夷简。在此形势下，时隔不到一年，中书大换班，但继任首相的是同样昏聩的张士逊。据说，这又是吕夷简密荐的结果。
张士逊为政与前任大同小异，自然又遭到谏官的抨击。张相公自知无力对付每日排山倒海般的政务，不得不数次上奏请老。至此，吕夷简的精明强干再度引起仁宗的思念。康定元年（1040）五月，张士逊尴尬退休，吕夷简如愿以偿地第三度入为首相。
此时，吕夷简61岁，已是炉火纯青的政坛不倒翁，虽然非议不断，却是天子离不开、朝臣也无奈的重臣。若有不识相者，只能是搬起石头来砸自己的脚。