這捕風捉影的惡評還不是只有這一樁，另外還有更離奇的謠傳——太后劉後薨於清和三十四年，諡為“孝慈昭憲欽仁端肅弼天祚聖皇太后”，史官亦譽其保育幼主、誓守京師之績。然而劉後薨時，遺命不與仁宗合葬，卻葬於永陵之東北角，號為回望京城，不忍棄此捨命相護之地。這般葬制甚是奇怪，史書上解釋得頗為正大，民間後來卻流傳出另一種風言風語，稱太后其實年輕時與某重臣有私，以此愧對丈夫，不敢合葬一室。
這樣的謠言，若教殷螭聽見，自然要大呼不實：“她明明是害死了安寧，心中有愧，這才不願意同皇兄與王貴嬪合葬，也算自我懲罰！如何能把我這頭的帳，算到她頭上去？我怎麼又吃了一回虧，戴了流言中的綠頭巾？豈有此理！”
好在他們那時候已經無處聽聞這些無根之談，而後代無聊的研究者們，卻頗yù從史傳中扒出一些雜事秘辛。可惜林鳳致的史料刪削得一字不剩，連他的著作《虞山先生集》，也在清和朝由皇帝親自下旨禁毀了，雖然每朝每代禁書總不可能禁毀gān淨，自朝鮮亦尚有流傳回來的，但因為公私書目均無記載，集中所錄奏章諫議又顯示出此人是個骨鯁之臣，與《佞幸傳》的寥寥數語相去甚遠，學者研究之下，認為此虞山非彼林氏，多半是書商故意拿同名書籍來割裂作偽，並無價值。
《虞山先生集》的偽書名聲得到洗刷，卻在近代清和帝長陵科學考察之際，發現這位昭宗皇帝陪葬的書籍之中，竟有一冊裹以huáng綾、隔了數百年尚自大部分完好的《虞山先生集》，與朝鮮發現的古籍比勘，全無差異，並且huáng綾之內，還端正放著裝訂好的一冊奏章原件，都是文集所未載，而風格又相似，雖然奏章紙張受濕毀損得比較厲害，到底能夠看見該臣子的署名為“臣林鳳致謹呈”，於是這個林鳳致究竟是不是“傾國雙木子”，一度成為學者們好奇鑽研的對象。
同年江蘇省常熟縣虞山鎮土地改造，據說挖出一塊墓葬石碑，毀損甚重，卻有部分字跡可辯。當地是著名考據大家之鄉，於是一位擅長考據的學者，自該朝史傳《廢帝本紀》中鉤沉索隱，同時參照長陵出土文獻，以及當地林氏家譜，忽一日豁然大悟，著就《虞山林氏“傾國”考》一文，提出許多聳人聽聞之觀點。然而不幸的是旋即遭到文化界一場抨擊，著者被打為“頌揚封建剝削階級的變態‘愛qíng’、治學不嚴謹，譁眾取寵”，學刊拒稿，手稿散失，從此這段故事又復塵埋。
於是乎，筆者既無前輩考證可據，亦無學界勘誤之能，只得姑妄言之，撰此稗史一部，幸讀者亦姑妄聽之，無可較真！
不過後人的紛擾，當事人卻是無法預知的，所以林鳳致離朝的時候，還是帶著非常輕快的心qíng，上疏告退，掛冠而去。那個時候離靖王安葬已過了兩個月，朝中拜相大局漸定，大臣各派系因爭首輔之位而互相攻訐的勁頭也減弱許多，林鳳致這時辭朝，倒算得一個知機而退，還能博得天子賜酒送別，以冠帶身份，浩浩dàngdàng領著新雇家僕與朝中賞賜舟車南下。
林鳳致素來不喜歡太熱鬧，回鄉更無需招搖，所以出京城不遠，便即打發家僕登舟，自己和管家陸路先行。到臨清碼頭換船，又吩咐從常熟北上來接自己的管家自行回去，好生照料莊園：“我未必定回，或一年或兩年，甚或一輩子，總之要享山水清游之樂。莊田出息，你善加照管，我的生計，自會定期派人取款項敷用，以我印章為記。”
他沿運河而下仍是騎馬，一路行到揚州，這才改換乘舟，雇了一條可以住家的烏篷船，商議好一路去蘇州，船夫選了個有些耳聾的老成人，比劃著名跟他吩咐：“到金陵多泊幾日，要與個朋友同走。”船夫自然無不應允。
林鳳致一路驛行都不打官銜牌，到船上卻掛了盞“林”字的碧紗燈籠，下船這日是九月十三，不日便到了瓜洲古渡，移船靠岸泊下，天際皓月已是滿弦的圓。泊船不用掌舵，船夫倒入小艙就鼾鼾睡去了，林鳳致一時卻睡不著，收拾了睡鋪，在小桌上擺開江頭新買的菱芡瓜果，獨自斟酒來飲。
才斟滿兩杯酒，便聽見小艙窗扇外被拍得啪啪作響，有人嚷道：“再不打開，我踹了。”林鳳致好氣又好笑，起身過去開了窗，道：“左鄰右舍都有船，你也不怕打擾人家清夢？”