「范待制被貶出京城，落了天章閣待制的職，為他說話的御史言官被牽連的不少。我聽外面現在群情激憤，呂相公這次只怕是犯了眾怒了。」
王曾沒有說話，只是看著夜色出神。
范仲淹非要與呂夷簡魚死網破，與自己有沒有關係？王曾不知道，也說不清楚。他不植私黨，不營私利，欣賞范仲淹，但關係並沒有多麼親近。但是最近朝堂里王曾與呂夷簡爭鬥激烈，百官看在眼裡，沒有想法是不可能的。在范仲淹這些人看來，呂夷簡與王曾比起來簡直一無可取，無論能力還是為人，他都不配在政事堂。駁倒了呂夷簡，受益最大的自然是王曾，范仲淹義無反顧地衝出去的時候，到底有沒有這樣的想法？王曾不知道，他也不想知道。兩相併立，利於平衡，但也容易意見分岐，爭鬥在所難免。本來制度就是這樣設計的，王曾身處其間，不能躲避，他也不想躲避。
此次范仲淹落職外任並不是因為上《百官圖》，這一點徐平比晏殊看得清楚。作為宰相呂夷簡用人自然不用向一位天章閣待制解釋，而范仲淹作為侍從大臣，對宰相的施政有看法提出自己的意見也不過分。此事只是彰顯了兩人的矛盾，范仲淹指責，呂夷簡分辨，過去就過去了。真正出事是范仲淹不依不饒，呂夷簡惱羞成怒。
上《百官圖》之後不久，樞密副使蔡齊提議遷都西京洛陽。這是太祖遺志，也有其可行性和必要性，每隔一斷時間就會有官員提起，本不稀奇。特別是去年徐平在京西路把洛陽城整治得好生興旺，河南府又有天量的飛票握在手裡，此事早就有人提，只是蔡齊的地位足夠高，引起了更多的重視。蔡齊提議遷都，范仲淹反對，認為洛陽已非王城所宜。
到這一步還沒有什麼，遷都徐平也同樣不同意。好不容易離開京城的王公貴族各種各樣人物的影響，建起了洛陽這個新興的工商業中心，把首都遷過來，難道徐平要再找個地方把同樣的事情做一遍？京城還是在開封城好了。
對於遷都的事情趙禎詢問呂夷簡的意見，這樣送上門來的機會，不說范仲淹幾句壞話呂夷簡也就不是呂夷簡了。回答趙禎的時候，呂夷簡說「仲淹迂闊，務名無實」。雖然呂夷簡心裡同樣是不同意遷都的，但他偏不說自己的意見，只貶低范仲淹。
事情傳了出來，范仲淹連上《帝王好尚》、《選賢任能》、《近名》和《推委》四論，對呂夷簡的說法做出了針鋒相對的回應。又把呂夷簡比之為漢成帝之張禹，指責他「以大為小，以易為難，以未成為己成，以急務為閒務」。范仲淹的意思本來說的是其他事情，偏偏現在京西路是呂夷簡的心病，以為說的是那裡，就此撕破了臉。
上《百官圖》，還能說是范仲淹作為侍從大臣，對宰相的用人心有疑義，提出自己的看法，把圖表給君王做參考。後來對呂夷簡的指責，就是直接批評其執政能力，再不能像前面那樣馬虎過去了。兩人崇政殿裡當面爭吵，出宮之後交相上書，鬧得不可開交。