他和沈九娘正式成婚之后，便觉得小楼一是空间太小，二是毕竟那里对于他来说太吵，也不方便。他便决定在城北桃花坞建一个别院，这就是后来著名的桃花庵。桃花坞原是宋人章庄简的别墅，但久经风雨，早成了一片废墟。不过这个地方景色宜人，有水（一条小溪）、有树，还有一个小土丘，非常适合于半隐居的唐伯虎居住。他还为此拟定了几间屋子的名称，如“学圃堂”、“梦墨亭”、“蛱蝶斋”等。
中国的知识分子有一个特点，就是在顺风顺水的情况下，儒家思想往往占据着统治地位；失败了则会不约而同地成为道家，追求一种远离尘世的境界。再严重一些，就是隐遁或出家为僧。有人将其归结为狂、叹、谐、隐几个阶段。以祝允明、唐伯虎、文徵明、徐祯卿为首的“苏州四大才子”基本上都处在隐的阶段，就连最年轻仅活了33个春秋的徐祯卿也是如此。
桃花庵下桃花仙
弘治十八年（1505年），唐伯虎决定筹建桃花庵别院。正德二年（1507年）桃花庵建成。唐伯虎曾写了一首《桃花庵歌》大意为：桃花坞里有座桃花庵，桃花庵内有我这个桃花仙人。桃花仙人种了桃树，到得时节就摘取桃花换点酒钱。清醒的时候我在桃花前坐，酒醉的时候还到桃花树下眠。在我桃花仙人醉醉醒醒的日子里，时光快速离去。年复一年间，桃花开了又落，落了又开。我没有什么宏大志愿，宁愿自己老死在花儿与美酒间，也不在高官富人的车马前弯下自己的腰板儿。
唉！富人们以跨马飞驰、看着身后扬起的尘土为乐，因为他们认为世人在仰视他们；对于我们这些穷人来说，品尝杯杯美酒，欣赏娇美的桃花才是我们的最爱。
如果用金钱和物质来衡量，这两种人两种生活自然有着天壤之别。
但换个角度去理解，那些富贵者须得时刻绷紧神经，小心翼翼如履薄冰地过活；而所谓贫者，却能多几分闲情，多几分逸趣，反而活得更加自然真实，更加轻松和快乐。
不懂我的人笑我太疯癫，而我则笑他们看不穿这世间的世情。
你们看那些帝王将相、英雄豪杰的坟墓，如今还有几个能见到？如果他们在天有灵，只能无奈地看着自己的坟墓渐变成废墟，无花无酒被人当田地来耕作了。