且說太祖出廟，信步行至歷代功臣廟內，猛然回頭，看見殿外有一泥人，便問：“此是何人？”伯溫奏道：“這是之時趙子龍。因逼國母，死於非命，抱了阿斗逃生。”太祖聽罷，說道：“那時正在亂軍之中，事出無奈，還該進殿才是。”話未說完，只見殿外泥人大步走進殿中。太祖又向前細看，只見一泥人站立，便問：“此是何人？”伯溫又道：“這是伍子胥。因鞭了平王的屍，雖系有功，實為不忠，故此只塑站像。”太祖聽罷，怒道：“雖然殺父之仇當報，為臣豈可辱君，本該逐出廟外！”只見廟內泥人，霎時走至外邊。隨臣盡道奇異。太祖又行至一泥人面前，問曰：“此是何人？”伯溫奏道：“這是張良。”太祖聽畢，烈火生心，手指張良罵道：“聯想當日漢稱三傑，你何不直諫漢王，不使韓信抱恨，那躡足封信之時，你既有陰謀不軌，不能致君為堯、舜，又不能保救功臣，使彼死不瞑目，千載遺恨。你又棄職歸山，來何意去何意也？”太祖細細數說，只見泥人連將頭點，腮邊掉下淚來。伯溫在旁，心內躊躕：“我與張良俱是扶助社稷之人，皇上如此留心，只恐將來禍及滿門。何不隱居山林，拋卻繁華，與那蒼松為伴，群竹為體，閒觀麋鹿銜花，呢喃燕舞，任意遨遊，以消餘生。”籌畫已定，本日隨駕回朝。
且說太祖正在龍輦中，遍望城外諸山，皆面面朝拱金陵，直是帝王建都去處。卻遠望牛首山並太平門外花山，獨無護衛之意。太祖帳然不樂，命刑部官帶著刑具，將牛首山痛杖一百，仍於形像如牛首處鑿石數孔，把鐵索鎖轉，令伊形勢向內，遂著隸屬宣州，不許入江寧管轄。花山既不朝拱鐘山，聽大學中這些頑皮學生，肆行采樵，令山上無一茅，不許翠微生色。且論且行，不覺已進東華門殿間。正見畫工周玄素承旨繪天下江山圖於殿中通壁之上，其規模形勢，俱依御筆，揮灑所成，略加潤色。太祖便問道：“你曾畫牛首山與花山麼？”玄素跪覆說：“正在此臨摹。”太祖便命把二山改削。玄素頓首道：“陛下山河已定，豈敢動移！”太祖微笑而罷。然聖終以二山無情，便有建都北平之意。
次日太祖設朝，劉基叩首奏曰：“臣劉基今有辭表，冒犯天顏，允臣微鑒。”太祖覽表，說道：“先生苦心數載，疲勞萬狀，方今天下太平，君臣正好共樂富貴，何故推辭？”伯溫又奏道：“臣基犬馬微軀，身有暗疾，乞放還田裡，以盡天年，真是微臣僥倖，伏惟聖情諭允。”太祖不從。伯溫懇求再三，太祖方准其所奏。令長子劉連，襲封誠意伯。劉伯溫拜謝，辭出朝門，即日歸回，自在逍遙，不題。