扬州的这段生活，让小杜食髓知味。离开扬州时，他还写了两首深情款款的诗留给所眷念的烟花女子，《赠别二首》：
娉娉袅袅十三馀，豆蔻梢头二月初。春风十里扬州路，卷上珠簾总不如。
多情恰似总无情，惟觉樽前笑不成。蜡烛有心还惜别，替人垂泪到天明。
后来他写了《遣怀》诗回顾这段美好时光：“落拓江湖载酒行，楚腰纤细掌中轻。十年一觉扬州梦，赢得青楼薄幸名。”一副痛心疾首、追悔莫及的姿态，似乎一别扬州，他就洗心革面重新做人了。其实，反思的背后更是炫耀与向往。年纪大了，官位高了，他自然得收敛一些，不过，逮住机会，他仍然会故态复萌。这首《寄扬州韩绰判官》，可见他对扬州生活的眷念：
青山隐隐水迢迢，秋尽江南草未凋。二十四桥明月夜，玉人何处教吹箫。
回到京城任监察御史的杜牧，因为好朋友李中敏受到郑注的压制而灰心，借口身体有恙，以监察御史的身份分司东都洛阳。这次消极怠工，使他逃过一劫。该年十一月，文宗皇帝与郑注合谋诛杀宦官失败，引起宦官疯狂反扑，大量无辜官员被乱刀砍死。在洛阳的小杜，见形势更加恶化，生活细节上也更为随意。当时洛阳最高行政长官李尚书在家里举办宴会，按照规定，监察部门的官员应该避嫌不能参加。杜牧听说宴会上家妓盛列，美女如云，连忙轻骑而来，连引三觥，然后对座中的家妓一一扫描，最后才回过头来对李尚书说：“尝闻有能咏紫云篇者，今日方知名不虚得。傥垂一惠（如果能把她送给我），无以加焉。”李尚书家妓中最富盛名的，就是崔紫云，她词华清峭，眉目端丽，深受尚书宠爱。众位家妓听到小杜这个无理要求，都回头掩笑。杜牧见此情形，立刻现场赋诗一首：