李迪為相的時候曾經吃過這個虧，以為抓住了呂夷簡的把柄，結果帝前對質，查到最後事情卻都是李迪做的。有這樣的結果，固然是因為李迪性子粗疏，對自己處理過哪些政務在什麼文件上簽字畫押過沒有印象，但也不能忽視呂夷簡對政事堂衙門的把持。與其他高官不同，呂夷簡很注意對衙門裡做事的關鍵位置上的公吏的拉攏，對有些公吏，甚至下的功夫不亞於重要官員。閻王好見，小鬼難當，在公文繁雜的宋朝各衙門，這些地位不高的公吏起的作用有時候出乎人的想像。你以為呂夷簡做了什麼事情必定會留下證據，實際上真正去查卻什麼都沒有，就連關鍵的證人都找不到。
正是因為無可奈何，范仲淹最終選擇了上《百官圖》。上次對閻文應，范仲淹已經置生死於度外一次，連身後事都跟長子交待過了，這次更是鐵了心要把呂夷簡拉下來。
自真宗朝起官員的升遷便深受磨勘法的制約，從什麼職位到什麼職位，一切都有例可循。比如徐平任三司鹽鐵副使，下一次任職便就要麼平調，任戶部和度支副使，因為鹽鐵是三司之首，就有了貶謫的意味。要麼就調離三司衙門，不能直升三司使。其他的職位也大多與些類似，從什麼差遣升到什麼差遣，都是有規矩的。
有了規矩便就有例外，總有一部分官員因為各種原因為不按照規矩升遷，或者因為政績，或者因為能力，或者因為才學，甚至僅僅因為有一個好名聲。便就如徐平，有了邕州的政績，官職的晉升便就如坐了火箭一般，飛速提拔。
范仲淹的《百官圖》便就是按照這個原則來的，利用這幾年在京城為官的機會，把所有京朝官的升遷都整理出來，畫成圖表。哪些官員越次升遷是有原因的，哪些官員雖然有理由但理由是站不住腳的，哪些官員升遷是根本沒有道理的。而後兩類，恰巧與公認的呂夷簡一派的人相吻合，以此來證明呂夷簡把持朝政，按插自己人。
這是倒呂一派所能抓住的呂夷簡最明顯的把柄，是他們的最後一擊，范仲淹甚至已經做好了不成功便成仁的準備。他的百官圖甚至還借鑑了徐平在鹽鐵司做經濟數據圖表的經難，極盡詳細，條理清楚，讓人一看就懂。
范仲淹入朝堂是由晏殊舉薦的，兩人私交也非常好，一聽說他做出這種事來，晏殊不由茫然不知所措。出了事舉主要負連帶責任倒是其次，最重要的是范仲淹是晏殊看好的人選，對他寄於厚望，實在不想因為這種事情被打入深淵。
一幅《百官圖》就能夠扳倒呂夷簡？范仲淹真是天真！堂堂當朝首相，任用一些中下層官員還得跟別人解釋嗎？什麼依次不依次，那只是個參考，宰相做事可不需要按照那些規例來。用歷史上後來歐陽修的話說，宰輔以大道佐君王，苟用例，不過一老吏耳！
晏殊只覺得腦袋生疼，兩手冰涼，看著天上那個白花花的太陽，一陣發暈。
楊告小聲道：「學士，見你面色不對，可是身體不適？」
晏殊擺了擺手：「無妨，只是剛才坐得久了。——對了，范希文上《百官圖》，朝里有什麼動靜沒有？這麼大的事情，百官總不會一言不發。」