大唐詩人杜牧畫像。（網路圖片）
寄揚州韓綽判官
青山隱隱水迢迢,
秋盡江南草木凋。
二十四橋明月夜,
玉人何處教吹蕭
杜牧算得上唐朝第一風流才子，他的很多詩歌背後都有故事。辛文房《唐才子傳·卷六》杜牧條，還記敘了杜牧兩件事情，其文曰：
牧美容姿，好歌舞，風情頗張，不能自遏。時淮南稱繁盛，不減京華，且多名妓絕色，牧恣心賞，牛相收街吏報杜書記平安帖子至盈篋。
後以御史分司洛陽，時李司徒閑居，家妓為當時第一，宴朝士，以牧風憲，不敢邀。牧因遣諷李使召己，既至，曰：「聞有紫雲者，妙歌舞，孰是？」即贈詩曰：「華堂今日綺筵開，誰喚分司御史來。忽發狂言驚四座，兩行紅袖一時回。」意氣閑逸，傍若無人，座客莫不稱異。
這頭一段說的杜牧與牛增儒在揚州時候的故事，第二段說的是杜牧在洛陽作御史官時候的故事。
先看第一個故事。杜牧自少年便氣盛自負，有經緯才略，所以一旦覺得在朝廷得不到重用，便跟隨牛增儒來到揚州。杜牧在揚州的時候，還比較年輕，估摸著也是剛剛中了進士不久。而牛增儒在揚州作淮南節度使，顯然是當地的軍政一把手，杜牧就在牛增儒的手下擔任節度使掌書記。當時揚州，絕對的遊玩聖地，經濟發達，文化開明，社會繁榮，百姓富庶。一到夜晚，更是燈紅酒綠。倡樓上有絳紗燈萬盞，輝耀夜空；三十步街中，有珠翠填咽，宛如仙境。杜牧在揚州，如魚得水，除做好本職工作外，夜夜都流漣於煙花巷，幾乎沒有一個晚上不去。而牛增儒又怕他出事，便秘密派了三十多個兵卒，換上便衣，暗中保護，一連好幾年都是如此。當然，這一點杜牧是不知道的，他還以為神不知鬼不覺呢。後來杜牧被征拜為御史，做紀檢工作。牛增儒在為他餞行的時候，就告誡他，要想把紀檢工作做好，自己首先要行為檢點端正，經常在風月場上不拘小節，和身份不太符合。杜牧馬上解釋說，還好，我能夠經常自省，不用你老擔心。牛增儒笑了笑，也不說話，只是叫僕人拿出一個小箱子，給杜牧看。原來這裡面裝的全都是兵卒每天的密報，上面寫著，某日，杜書記到某家，平安；某晚，杜書記在某家赴宴，平安。杜牧一看，慚愧不已，因而泣拜致謝，終身對牛增儒心存感激。
後來，杜牧還專門為他的揚州生活，賦詩一首，名為《遺懷》：「落魄江南載酒行，楚腰腸斷掌中輕。十年一覺揚州夢，佔得青樓薄倖名！」
雖說杜牧對牛增儒感激不盡，但是對他的勸告可是沒怎麼聽進去。看第二個故事。杜牧有段時間在洛陽做紀檢工作。正好碰上李司徒罷官閑居在家，經常舉辦家宴招待各路名士。當時李家聲妓豪華，首屈一指，洛陽很多名士都受到邀請，紛紛趕來。可惜杜牧當時是做紀檢工作的，老李不想請他，害怕他來了，其他的公職人員感覺到尷尬。但是杜牧覺得不能錯過了這等好事，於是通過其他客人捎話給老李，說杜某人願意參加你的宴會。老李不得已，只好寫了請柬邀請。到了宴會上，杜牧開始還一本正經地光是吃菜喝酒，一幅旁若無人的樣子，當百餘名歌妓翩翩起舞，眾多來賓心醉神迷的時候，杜牧還是獨自一人悶頭喝酒，偶爾抬頭看看美女歌妓，也只是點點頭或搖搖頭，並不說話。忽然，杜牧開始用眼睛瞪著前面，一連喝完了三大杯酒，壯膽子問老李：「我聽說有個叫紫雲的，不知道是哪一位？」老李馬上指給他看，杜牧又是一陣凝視，讚嘆道：「嗯，果然名不虛傳！把她送給我好了。」老李一聽，頓時把擔心憂慮拋到了九霄雲外，當即大笑起來，引得歌妓們也開始跟著主人的笑聲笑了起來。氣氛一活躍，杜牧又喝了三大杯酒，然後站起來大聲吟誦：「華堂今日綺筵開，誰喚分司御史來？偶發狂言驚四座，三重粉麵一時回！」 杜牧這種閑宕散逸的神態，令在場的客人開心不已。這首詩歌，就是杜牧有名的《兵部尚書席上作》（案：此詩錄自《樊川別集》，與《唐才子傳·卷六》所載，略有異出）。
五代王定保《唐摭言·卷十三》中，還記載了一段杜牧與張祜的故事。文曰：
「張祜客淮南，幕中赴宴，時杜紫微為支使，南座有屬意之處，索骰子賭酒，牧微吟曰：‘骰子逡巡裹手拈，無因得見玉纖纖。’祜應聲曰：‘但知報導金釵落，彷彿還應露指尖。’」
杜紫微就是杜牧。那次張祜在淮南，到官府赴宴，杜牧當時也在座。而「南座有屬意之處」，是說這兩位大詩人都看上了「南座」的這個歌妓，沒辦法，就只好行酒令擲骰子來決定歸屬。這種事情杜牧是不會落後的，於是馬上吟到「骰子逡巡裹手拈，無因得見玉纖纖。」而張祜反應也很快，跟著就吟「但須報導金釵落，彷彿還因露指尖。」至於後來的結果麼，也不知道算是誰贏，不過兩個人的俊朗才氣，後人也算是領教了。
這首詩在《全唐詩·卷七百九十二》中，目錄列在張祜名下，名為《妓席與杜牧之同詠》。
