因为与朋友、兄弟失和，唐伯虎的心情糟糕透顶，于是他便在明孝宗弘治十八年（1505年）九月去了休宁县城西15公里处的道教圣地齐云山游览。果然，心情大好，为此，留下了一首七律《齐云岩纵目》。
摇落郊园九月余，秋山今日喜登初。
霜林著色皆成画，雁字排空半草书。
曲蘖才交情谊厚，孔方兄与往来疏。
塞翁得失浑无累，胸次悠然觉静虚。
说起这件事儿，还有一个民间传说，齐云山玉虚宫道长汪泰元要写碑铭，起先请了一个姓贾的秀才写，但秀才要二百两润笔费，道长拿不出来。幸好唐伯虎来到，他分文未要写了《齐云岩紫霄宫元帝碑铭》。这就是“孔方兄与往来疏”的来历。由此看见，唐伯虎目前的持家能力仍然欠缺，若是换了十几年后的他恐怕也没有这般潇洒。
这块石碑高达8米，如今矗立在玉虚宫大殿的左侧。在此，我们不妨摘录片段看看唐伯虎对于道教如何喜爱。
乾坤定位，二仪开五劫之端；人鬼分形，五岳镇九州之地。东溟银榜，标题长子之宫；西海玉门，实聚百神之野；皆所以节宣寒暑，鼓舞阴阳；万物赖之以生形，四民顺之而动止；兵戈籍之而底息，谷粟因之而丰登。
元天元圣玉虚师相仁威上帝荡魔天尊者，颛帝之神，水德继王；在先天则正位乾符，御北斗则斟酌元气。职领紫微之右坦，则并天乙太乙之座；宿列虚星之分野，则总司命司禄之权。劫当开泰之中，天启圣灵之孕；幽明协相，上下相流；凝二五之精以有生，建三一之道以度世；诞圣王官，出胎母胁；宝光所照，三辰为之失色；天灵护持，六种为之震动，洎乎髫年，辞亲就道，东游震土，元君指迷；受锡剑于天帝，悟磨杵于神姥。折梅枝而寄榔，升霄峰以圆功；虎将护坛，神龙捧足。
……
同时，唐伯虎又应王友格之请，为他写了《王氏泽富祠堂记》，其开头，便介绍了不凡的家庭背景“徽歙多世家，泽富之景曼氏，是其一也”。其后又交代了此行的目的“弘治乙丑，余行旅过徽，友格以币交，故为记其事云”。
从上我们可以看出，除了祝允明、文徵明等特别要好的朋友外，向唐伯虎索要各种记、铭、书画等其实都是要付钱的。所以说，此时的唐伯虎已经因为第三任妻子的出现，和兄弟交恶等原因，逐渐回归到世俗世界。