有一天，他家里几个清客和他聊天。有人说：“潘大人，你这大年纪还无儿女，我们都替你着急，多拿点银子出来，买两个妾吧，也好早为你接续香火！”
潘祖荫斜了一眼这个清客：“你们着什么急?明明晓得我是天阉，还劝我买妾。买得妾来还不是便宜了你们这班龟孙子?我才不那么蠢哩！”
清客们哈哈大笑，他自己也忍不住笑了起来。
这位吴县才子虽没有子孙替他传香火，但他自信他的文章能为他传名后世。
他的文笔的确好。京师官场上谁都知道他有一件值得骄傲的往事。
二十年前，正是江南一带朝廷的军队和太平军激战的时候，现在威名赫赫的左宗棠，那时还只是湖南巡抚骆秉章身边的一个师爷。这位左师爷心高气傲，瞧不起平庸的文武官吏。永州镇总兵樊燮来巡抚衙门办事，左宗棠不仅用言语嘲讽他，还用脚去踢他。樊燮不能受这个窝囊气，一状告到朝廷。咸丰帝也很气愤，下令要湖广总督官文处理此事，若属实则将左宗棠就地正法。左宗棠的朋友时为翰林院编修的郭嵩焘急坏了，他请翰林院侍读潘祖荫上疏救援。潘祖荫久闻左宗棠大名，遂很用心地写了一道为之辩护的奏章，其中两句最为精彩：中国不可一日无湖南，湖南不可一日无左宗棠。后来咸丰帝赦免了左宗棠，再后来左宗棠不断建立功勋，这两句话便不胫而走，传遍全国，潘祖荫的名声也便跟着传遍天下。
今天会议的主持人张佩纶一边笑着迎接潘祖荫，一边说：“你迟到了半个时辰，按照老规矩，应受罚。或罚酒，或罚诗，你自己挑！”
李鸿藻也笑着说：“伯寅呀，你今天是怎么回事，害得我这个老头子都要等你！”
潘祖荫对着众人拱拱手说：“李中堂，各位同寅，潘某今天迟到了，按规矩是该罚，但我若说出原因来，想必中堂和各位都不会再罚我。”
“再大的事，还能与今天讨伐崇厚卖国罪行的事相比吗?我看是罚定了！”说话的是宝廷。
“竹坡不要先说死了。”潘祖荫望了一眼干瘦的宝学士后对大家说，“诸位今天不是要讨伐崇厚吗，我给你们带来了崇厚一条新的大罪。”
潘祖荫的一句话把大家的精神全都提上来了，一齐瞪着大眼听他的下文。
“昨天翁师傅对我说，崇厚未经朝廷允可，擅自离开俄国，已坐上洋人的轮船，正在回国的途中了。”