因此，唐广德从唐伯虎一出生开始，就将改换门庭的希望寄托在了唐伯虎身上，好在伯虎年幼之时便展现了极高的天分。他请大画家沈周教儿子作画，之后尽其全力使其进入了最好的私塾。像所有望子成龙的父亲一样，唐广德倾尽所有为唐伯虎提供学习的资料。就拿唐伯虎的藏书相比，就连官宦之后的祝允明、文徵明都为之叹服，惊叹于他的藏书之多、门类之全。可以想见，作为一个小酒馆的老板，没有辛勤劳动、起早贪黑，是负担不起如此巨大开销的。
唐伯虎也特别争气，16岁就考了个秀才第一，大名广播，人人为之赞叹。其后便开始和祝允明等人混迹市井，而且还成了青楼常客。唐广德为了将理想变为现实，为了让唐伯虎收心，便在其19岁（1488年）的时候为他娶了徐秀才的女儿，希望用贤儿媳徐氏的温柔彻底改变儿子的行为做派。然而，事与愿违，唐伯虎仅仅收敛了一年多后，便依然故我。
等待了几年之后（1494年），万念俱灰的唐广德发出了阵阵哭嚎：“还要让我为你做些什么？你才能听我的话！”想了许久，唐广德做了最后一搏——死亡。似乎冥冥中，父亲的死就是为了唤醒最后一条束缚在人类身上的灵符——孝。大凡父亲对待儿子的感情如山一般深沉、厚重，更遑论封建社会的父亲，严父慈母是中国传统家庭教育的精准总结。父亲这座大山倒了，希望让唐伯虎这只贪恋地上食物的雄鹰能够展翅高飞，飞入那凌霄宝殿。
然而，代价太大了。唐广德一死，唐伯虎的母亲也跟着走了。一阵慌忙之后，伯虎的妻子和儿子相继病故，紧随其后被他嫁到外地的小妹也自杀了。如此之下，唐伯虎苦楚无处诉，反而更加行为怪诞，经常在青楼流连，还经常为青楼女子写诗作画，例如：《寄妓》
相思两地望迢迢，清泪临风落布袍。
杨柳晓烟情绪乱，梨花暮雨梦魂销。
云笼楚馆虚金屋，凤入巫山奏玉箫。
明日河桥重回首，月明千里故人遥。
《梨花》
一箱朱碧漫粉纭，独惜梨花一段云；病酒怜春两烛泪，夜深烧烛倚罗裙。
《佳人对月》