这一年春天，徐文长到杭州游览，一大早就往苏堤踱去。他一边饱览湖光山色，一边吟哦诗句，不觉到了孤山。抬眼望去，见那边亭子里坐着很多人，原来是一班文人在赋诗作画，饯送客人。徐文长信步走了进去。这班正在高谈阔论的文人，见来了个陌生人，都现出不快之色。但主持的那个人见徐文长举止从容，就勉强招呼说：“我等假这儿送客吟诗，兄台如有雅兴，不妨稍坐片刻，以便求教。”说着就把一副裱装精致的手卷递了过来。徐文长并不谦让，顺手接过来，从头到尾看了一遍，原来画的是一幅《柳亭送别图》，虽非名人手笔，倒也有几分功夫，只是所题的几首诗却尽是陈词滥调，毫无新意。因此，看虽然看了，但没有说什么。主持的那个人见他一言不发，又不肯动身离开，以为他假充风雅，根本不识货，便有意要当场使他难堪一下，因此似笑非笑地说：“兄台固有高才，不妨一赐佳句。”徐文长也不答话，拿起笔，蘸了蘸墨，探头向亭外面看看，眼前一行行垂柳，正迎着春风轻轻拂动，便若有所得地写了：“东边一棵柳树，西边一棵柳树，南边一棵柳树，北边一棵柳树——”

这班文人看他写完第四句，心想，果然不出所料，这幅手卷被他糟蹋了！尽写些“柳树”“柳树”的，像什么样子！其中有几个沉不住气的刚想开口责问，却见徐文长奋笔疾书，又写下了两行：“纵然碧丝千万条，哪能绾得行人住！”

大家看罢这两句，一转一结，吃了一惊。再把前面写好的四句连起来读一读，有情有景，朗朗上口，写得既通俗又娴雅，禁不住同声赞道：“真是佳句佳句！”

这时，在孤山幽静的山谷里，传来了几声杜鹃的叫声，徐文长想了一下，便接下去写道：“山前鸣杜宇，山后鸣杜宇，山上鸣杜宇，山下鸣杜宇：‘行不得也，哥哥！’‘不如归去！’”徐文长写罢，把笔一丢，拱拱手就走了。

杜鹃的叫声，一声声还从山谷中传来……这班文人看看画中依依惜别的一对情人，读读陌生人留下的诗文，再听听山谷里杜鹃的叫声，越读越觉得这诗文情景交融，余味无穷，知道写诗的绝不是一个寻常的人，便急急往前追赶，求他留下姓名。徐文长一笑作谢，飘然而去。后来，大家才打听到那陌生人就是绍兴才子徐文长。

自从徐文长写出那诗文以后，一时传为美谈。年年春天，许多人都欢喜到孤山听听山谷中春鸟的鸣叫。后来。这地方就得了“空谷传声”的美名。