要说吕龟图，官阶虽然不高，却因出身优越，养成公子哥习性，除了正房刘夫人之外，又置了几房宠妾。如此一来，夫妻感情不和自然难免，儿子连带也受气不少。大致在宋朝初年，仅因一次口角，吕龟图就不仅将刘氏休去，竟还绝情地将儿子蒙正一并逐出家门，这在古时注重血亲关系的年代倒的确不多见。
按照传统门当户对的婚嫁规矩，刘氏想必也属大家闺秀。这位母亲具有典型的传统美德，又性情刚烈，发誓永不改嫁，一心抚育儿子，将一腔怨恨化作希望，都寄托于蒙正身上。因此，离开吕家后，刘氏寡母孤儿举步维艰，连生计一时都成了问题。
人的少年生长环境和经历，必将影响其一生一世，尤其是从衣食无忧跌宕到吃穿发愁的巨大反差，常使孩童迅速早熟起来，对人世间的冷暖有刻骨的敏感与反应。好在吕蒙正天资聪慧，遭此晴天霹雳打击后，更发奋读书，立志出人头地，为母亲和自己争口气。
据说，吕蒙正随母离家后，曾一度寄居于一处叫利涉院的寺庙。佛寺位于洛阳城南伊水河畔的龙门山上，庙里的高僧见到落难的翩翩少年，一眼便识出有大贵之相，于是特别在山上凿出石龛，供其落脚，吕蒙正在此潜心读书，一住就是九年。此为百余年后宋人笔记的记载，不免有些夸张离奇，但主人公徜徉龙门山间，遍览历代石窟寺倒是真的。那些造型高大神奇而又慈眉善目的佛像给了少年不少的心灵慰藉，也多少化解了心中的积愤，或许还在冥冥之中保佑了他。
当年的某个夏日，少年吕蒙正在伊水岸边看见卖瓜人，很想买一个解馋，但苦于囊中羞涩，只得站在路旁怔怔观望。卖瓜郎走后，地头竟遗留了一枚，他怅然取而食之，由此可见其当日窘困之一斑。日后他发迹为相，在洛阳城南置买园林，特意在比邻伊水边修筑一亭，取名瓜亭。
据记载，吕蒙正年轻时曾与张齐贤、王随、钱若水及刘烨等几位同学，拜洛阳当地人郭延卿为师学习诗赋。一天，师徒们结伴渡过伊河找著名道士王抱一算命，不料王道士外出，结果一位和尚出来接待，大家感到疑惑，都好奇地询问为何僧人以道士为师，那位和尚倒是坦然回答：已追随王道士学习相术三十余年。他们不愿白跑一趟，就请和尚算命，僧人却说：师傅告诫自己在相术未精时，须谨言慎行，诸君一定要看相，还请明天问师傅吧。
次日，众人再至，王抱一招呼各位随便入席，吕蒙正坐于道士正对面，张齐贤和王随落座其次，钱若水与刘烨则又次之。王道士一看，抚掌叹息良久，几位连忙请教，主人说道：我曾游历天下，东至于海，西达流沙，南穷岭外，北抵大漠，寻求所谓贵人，以检验相术是否灵验，却总难如愿，岂料今日贵人尽在席上！众人听了都喜出望外，那王抱一却接着自顾自地徐徐道来：吕君科场及第，无人可压得住，不过十年便可为相，十二年后出判河南府（今河南洛阳），出将入相，坐享三十年富贵长寿；张君过三十年也做宰相，同样富贵长寿告终；钱君能居执政之位，不过只有百日之久；刘君虽有执政之名，却无执政之实。诸位徒弟都被一一说到，唯独将老师漏掉。郭延卿脸面挂不住，愤然指责道士言辞虚妄：难道座上能出许多将相不成？王道士不为所动，依旧平和地回答：我并未收钱，你们一定要问，才如实相告。自今十二年后，吕君出判河南府时，你可通过本地考试，隔年你虽有科举功名，还是做不到京官。听罢此言，郭先生更为恼怒，徒弟们都不安起来，遂作鸟兽散。多年后，吕蒙正与张齐贤等人结局果然如此，而他们的老师郭延卿也确是在吕蒙正的帮助下中举，但不久死去。