白居易的晚年，官位一直较高，收入自然不低。当太子宾客的时候，工资涨到他刚刚参加工作时的十倍，即所谓“俸钱八九万，给受无虚月”。后来当太子少傅，工资高得自己都有些不好意思：“月俸百千官二品，朝廷雇我作闲人”。退休以后，还有百分之五十的工资作为养老金：“寿及七十五，俸占五十千”。经济状况良好，就要讲究生活质量。喝酒也不能像陶渊明那样在村头山间，这时的白居易要追求品味格调，他往往是一面喝酒，一面吟诗，一面操琴，旁边有家僮奏《霓裳羽衣》，小妓唱《杨柳枝》。
五、白居易(6)
喝酒、吟诗、品茶、弹琴，都是高雅的事。高雅的事，文人都喜欢；不高雅的事，也有一些文人喜欢去做。蓄养家伎，在当时不能算低俗，但说是高雅可能也较为勉强，应该是风流或者说是风气。有了钱的白居易也喜欢上了这个“游戏”。大约五十四岁左右，他去苏州任刺史，家中开始有了伎乐，有诗《对酒吟》为证：
一抛学士笔，三佩使君符。未换银青绶，唯添雪白须。公门衙退掩，妓席客来铺。履舄从相近，呕吟任所须。金嘶衔五马，钿带舞双姝。不得当年有，犹胜到老无。合声歌汉月，齐手拍吴觎。今夜还先醉，应须红袖扶。
诗人的意思是，现在家中终于有了女伎，虽然自己年纪大了点，这一时刻来得迟了点，青壮年时期没能赶上好生活，但好歹聊胜于无。正如他在另一首里所说：“火急欢娱慎勿迟，眼看老病悔难追。樽前花下歌筵里，会有求来不得时。”他要抓住这转眼即逝的瞬间享受人生。他兴致勃勃地开始他的培养计划，也终于小有成就。五十八岁的时候，白居易长期住在洛阳，家中的女伎颇为可观，所谓“菱角执笙簧，谷儿抹琵琶，红绡信手舞，紫绡随意歌”，这里的“菱”、“谷”、“紫”、“红”，都是家伎的名字。当然，白居易还是惋惜，觉得幸福的日子姗姗来迟：“莫养瘦马驹，莫教小妓女……马肥快行走，妓长能歌舞；三年五载间，已闻换一主。借问新旧主，谁乐谁辛苦？”(《有感三首》其二)
今天，人们对诗人的上述语气颇为不满，将小女孩看成宝马一样的玩物，未免不厚道。而且，等到小女孩长大了，变老变丑了，就又马上出手转让，未免又不人道了。看到诗人沾沾自喜的自述“十载春啼变莺舌,三嫌老丑换蛾眉”，说他十年内换了三拨家伎，不少读者就出离愤怒了。钟叔河先生在《忆妓与忆民》就说：“七老八十的人，尽可以搞他的黄昏恋，但若凭致仕尚书的权势，或凭二千石的财势，或凭大诗人的声势，像畜犬马一样畜着此‘年二十余’的靓女，让她们提供性服务，‘既老，又病风’，则可以转让给别人，‘幸未及项籍之将死’，又可以继续给自己，这种诗的本事虽真，总难说是美，也难说是善吧。”甚至有人为此痛骂白居易为流氓文人。