然而，事情并未了结。回苏州后，唐伯虎经常青楼流连，他的朋友文徵明也对他有了很大的看法，便以书信的形式对唐伯虎进行了规劝。唐伯虎见状，立刻回复了一封《答文徵明书》（请注意文中词句语气，后面有简单的现代文解释，非逐字逐句）。
寅顿首徵明足下:
无恙幸甚!昔仆穿土击革，缠鸡握雉，参杂舆隶屠贩之中，便投契足下，是犹酌峣鸑以红，采葛簟而鷟峻也。
取之侧陋，施之廊庙，冠剑之次，人以为不类，仆窃谓足下知人。比来痴叔①未死，狂奴若故，遂致足下投杼，甚愧甚愧!且操奇邪之行，驾孟浪之说，当诛当放，载在礼典，寅固知之。然山鹊莫喧，林鹗夜眠。胡鹰耸翮于西风，越鸟附巢于南枝。性灵既异，趋从乃殊。是以天地不能通神功，圣人不能齐物。致农种粟，女造布，各致其长焉。故陈张以侠正，而从断金之好；温荆以偏淳，而畅伐木之义。盖古人忘己齐物，等众辩于嶒音；出门同人，戒伏戎之在莽也。寅束发从事。二十年矣，不能翦饰，用触尊怒，然牛顺羊逆，愿勿相异也。谨覆。
我们先看看唐伯虎这篇文章的语义何在：徵明兄没有什么病这太好了。小时候我跟着父母一起做小生意，杀鸡卖酒的时候就和您的关系非常好。别人都说我行为怪异，但我不管那些，因为我知道您对我是了解的。从前您的父亲尚在世，我的臭脾气一直没变过，气得您拿织布的梭子扔我，现在想来真是惭愧呀。
看到这里，我们看到唐伯虎似乎有悔意，然而，他话锋一转，却说：我也知道奇谈怪语行为乖张的我不符合礼教，然而，山雀不叫、鱼鹰夜眠，胡鹰在西风中展翅高飞向北方飞去，孔雀飞往南方。这是为什么呀？它们之间灵气不同，当然志向不会一样。
看到这里，唐伯虎霸气十足，摆出了一副绝交的架势。之后，他又摆出了居高临下的态势：天地万物没有全都会的，连圣人都做不到，男人种地，女人织布都是用其所长，只有这样才能兄弟同心（断金）。
最后，唐伯虎两手一摊，对文徵明说道：寅束发（15岁左右束发）从事。20年都这样过来了，希望您不要强行改变我！
文徵明实在是想不明白，为什么短短5年的时间，唐伯虎就成了这样的人。当年科场弊案出来后，他心情不好，出去散心的时候，还曾经留过书信，要自己好好照顾他的兄弟，怎么刚刚过了4年，他就变成了如此模样！想到此处，文徵明站起身找出了唐伯虎当年给他的书信，上面的字仍然清晰：但吾弟弱不任门户，傍无伯叔，衣食空绝，必为流莩。仆素论交者，皆负节义。幸捐狗马余食，使不绝唐氏之祀。则区区之怀，安矣乐矣，尚复何哉！唯吾卿察之。
兄弟孱弱，又没有叔叔伯伯，我怕他没吃的没穿的被饿死。我的朋友们都是很讲义气的人，望你们行行好把那些狗呀马呀吃剩下的东西周济周济我的兄弟，千万不要让我们唐家断子绝孙呀！
看到此处，文徵明两眼落泪。
出游散心