和好友张祜以《宫词》闻名天下一样，杜牧诗中最早出名的也是一首宫怨诗《秋夕》：
银烛秋光冷画屏，轻罗小扇扑流萤。
天阶夜色凉如水，坐看牵牛织女星。
许多人初读此诗时以为是闺怨，要细品才会发现原来是宫怨。“轻罗小扇”让我们联想起班婕妤和王昌龄的团扇，暗示了诗中宫女不被宠幸的命运。秋天的夜晚寒意袭人，本该到了进屋歇息的时间，可她依然百无聊赖地坐在皇宫中的石阶（所以叫“天阶”）上，眺望着银河两旁的牵牛星和织女星，满怀心事却无人可以诉说。杜牧曾在《阿房宫赋》里描述其中的宫女：“一肌一容，尽态极妍，缦立远视，而望幸焉。有不得见者三十六年。”那么《秋夕》中的这位宫女显然会想到，自己纵愿与有情人如牛郎织女般每年仅有一夕之会，也是无法实现的奢望。现实中众多深宫女性注定孤独终身的命运，比传说中的牛郎织女更加凄凉。此诗有另一个版本是“卧看”牵牛织女星，我怕秋凉卧看会生病，还是倾向于“坐看”比较健康。
小杜进士及第后先当了弘文馆的校书郎，不久到了盛产文房四宝之一“宣纸”的宣州，为宣歙观察使沈传师做幕僚。沈传师是著名书法家，韩愈为纪念好友柳宗元被贬为柳州刺史时所做的政绩而写下的《柳州罗池庙碑》，就是请沈传师写的楷书。小杜听说离宣州不远的湖州美女如云，便专门请假跑去游玩。湖州崔刺史素闻他的大名，于是盛情款待。小杜为人从不假客气，酒足饭饱之后便直说来意：“在下久闻湖州出美女，所以专程前来，想在贵宝地结成一门亲事。”
崔刺史笑道：“本府久闻牧之风流大名，没想到还如此直接爽快，甚好！若想在我偌大湖州寻一中意女子，有何难哉？”他派人去将湖州待字闺中的名媛轮流请来府上做客，让小杜在暗中挑选。哪知小杜阅尽春色后颇为遗憾地评论道：“这些女子美则美矣，但似乎还不够尽善尽美。不知能否麻烦刺史大人在江边举行一次龙舟竞渡，号召全湖州的人都来观看？到时候在下沿着江边缓缓泛舟，在人群中细细寻找，或许能找到中意的女子。”
大家都晓得龙舟竞渡是一年一度的端午节才举行以纪念屈原的高尚娱乐，这非年非节的时候搞龙舟算怎么回事呢？而且真实目的仅仅是满足小杜的私人想法，和龙舟的身份一点儿都不般配。虽然这个要求实在很二，但爱才的崔刺史不忍心拂了小杜的兴头，还是吩咐手下人张榜出去，就说三日后刺史大人要在湖州城内搞一场热热闹闹的赛龙舟以庆祝当今太平盛世，让百姓们都来同乐。
到了那日，两岸果然密密麻麻地挤满了围观的群众。人家站了一天忙着看龙舟，小杜在小船上也站了一天忙着看沿岸的女子。从早上看到傍晚，眼睛都挑花了，他竟然没有找到一个合意的，可见眼界太高。眼看活动就要散场，人群中有位妇人带着一个十几岁的女孩子突然吸引了小杜的目光。他仔细端详了好一会儿，激动地对随从说：“这女孩真是天姿国色，世所罕见。我打算娶她！”心动不如行动，小杜立刻派随从去将这母女俩请到船上来，要和人家商谈嫁娶事宜。
那妇人本是带着小女儿出来看龙舟的，又不是出来相亲的，被这种突然袭击搞得一点心理准备都没有，吓得一个劲儿推说女儿年纪尚小还不能婚配。小杜笑眯眯地安抚：“在下当然知道令千金年纪尚幼，并非马上就要娶她，只是想先和您商定下几年后迎娶的日期。”妇人问道：“世事难料。将来若是您违约失信，而我女儿年齿渐长，总不能一直等下去吧？”小杜胸有成竹地回答：“不出十年，在下必然来湖州做刺史。如果十年后没有音信，您尽管将女儿另嫁他人，在下绝无怨言。”女孩的母亲觉得这个条件还算公平合理，于是点头同意。双方立下盟约字据，小杜送给女方家一笔贵重的聘礼，成就感满满地回宣州去了。
自此一别，小杜就将爱情当成工作的原动力，最大的人生理想即当上湖州刺史，好去风风光光地迎娶美娇娘。他先后出任过黄州、池州和睦州刺史，其实均非本意，因为到哪里当官并不是由本人说了算，得服从组织的需要和安排。直到好友周墀出任宰相时，小杜忍不住接连写了三封信，假公济私地请求出任湖州刺史。到了唐宣宗大中四年，已经四十七岁的杜牧终于如愿以偿获得了这个梦寐以求的职位。
杜牧一到任湖州，第一件事情便是立刻派人去接那对母女来刺史府中相见。不料手下接来的不是两位，而是四位。原来女子早已嫁为人妇，昔年那对母女如今身后还带着一对活蹦乱跳的孩童。看着自己记忆中的清纯少女如今已变成风姿绰约的少妇，杜牧好似被劈头浇了一盆冷水，愤愤地责问老妇人：“当年您已答应将令千金许配给在下，为什么违背诺言呢？”老妇人回答说：“咱们原来约定以十年为期。等到十年过去了，大人您还没有如约前来，老身才将女儿嫁人的。”杜牧取出盟约来一看，时间居然已经过去了十九年，只得仰天长叹人生如白驹过隙，于是赠给这一家老少三代很多礼物，并且目送她们离开。
待得夜深人静安歇后，杜牧回想十九年期待成空，不禁辗转反侧，夜不能寐，干脆披衣起床，写下《叹花》一诗：
自恨寻芳到已迟，往年曾见未开时。
如今风摆花狼藉，绿叶成荫子满枝。
