让我们回到杜牧还在宣州当幕僚的时候。不久后沈传师返京任职，小杜不知为何没有随行，可能因为是留恋江南，又来到扬州担任淮南节度使牛僧孺的掌书记，负责节度使府的公文往来。扬州在当时是全天下第一等的好地方，究竟好到什么地步呢？传说有位老神仙询问四个年轻人的人生理想，第一位说想富甲天下，第二位说想羽化升仙，第三位说想当扬州刺史，这说明在扬州当地方行政长官的吸引力可以和成为首富甚至和成为神仙相提并论。顺便说一下，那第四位的理想是：腰缠十万贯，骑鹤下扬州。
以杜牧之才做个幕僚实在大材小用，自然精力过剩无所事事。扬州是烟花聚集之地，美女比湖州更多，这下他可谓老鼠跌进了米缸，在公事闲暇之余常常流连于声色歌舞场所，几乎每夜都一个人偷偷跑到青楼欢饮宴乐，也不敢让领导牛大人知道。牛僧孺是白居易和刘禹锡的好友，自然也很赏识杜牧的才华，所以能宽容他这个不良爱好，还生怕他年少气盛在青楼和别人争风吃醋时吃亏，就安排了二十名特种兵，每到夜幕降临就换上便衣执行秘密任务，暗中尾随杜牧进行保护。只顾着对酒当歌和美女们风花雪月的杜牧完全没注意到这些尾巴，但每次若有人与自己话不投机本来打算拳脚相向的，后来都莫名其妙低声下气地离开了，心下暗想运气真好。
几年后杜牧被朝廷提拔为监察御史，要离开扬州去洛阳上任。让一个喜欢寻访花街柳巷的人去当纪委官员，我大唐朝的用人方式真是不拘一格。牛僧孺设宴为他饯行，席上语重心长地谆谆告诫：“以贤侄的学识气概，将来必前途不可限量。但老夫稍有担心贤侄过于放纵风月之情不知节制，只恐时间长了会有损贵体安康。”杜牧听了脸皮发烫，但以为自己的保密工作做得还不错，便强作镇静地答道：“多谢大人挂怀！还好下官一向洁身自爱，在这方面尚不至于让大人操心。”牛僧孺哈哈大笑，让书童捧上一个小书箱。不明真相的杜牧打开一看，原来里面都是每天悄悄跟在他身后的便衣保镖写的工作报告，无非是某晚杜书记在醉仙楼饮酒与何人争执我等已摆平，某晚又在丽春院宴乐与何人口角我等已摆平，书记大人均平安无事云云，足有百十来份。杜牧这才晓得牛僧孺如此照顾自己，遂感动不已，立刻下拜致谢，此后终身不忘牛僧孺的恩情。
后来牛僧孺更为出名，是因作为“牛党”之首，与李德裕为首的“李党”进行了长达四十多年的“牛李党争”，李商隐就在中间吃了大亏，后文将要提及。在这位老领导逝世后，杜牧亲自撰写墓志铭，自然都是歌颂溢美之词，文采比年老时为自己写的墓志铭还好。不知是否因为对他人都不放心的缘故，杜牧临终前未按惯例委托别人写墓志铭，而是亲自操刀，但写得文采平平毫无大诗人风范。想想也是，人一般都不好意思自吹自擂，给自己写墓志铭其实挺难下笔，不明白他为何要主动做此高难度动作。
杜牧离开扬州后，依然对其魂牵梦萦念念不忘，于是写下《寄扬州韩绰判官》赠给坚守岗位的昔日同事：
青山隐隐水迢迢，秋尽江南草未凋。
二十四桥明月夜，玉人何处教吹箫？
看来韩判官不但是杜牧的同僚，在风花雪月方面也是他的同道。关于“二十四桥”一直有两种说法：有人认为是二十四座桥，比如沈括在《梦溪笔谈》中说“扬州在唐时最为富盛……可记者有二十四桥”，并注明今存者只有六桥；也有人认为是有一座桥名叫“二十四桥”，传说隋炀帝游扬州时，在月圆之夜带着二十四位美人在那座桥上饮酒吹箫，因此得名。至今对此众说纷纭，没有定论。
