唐玄宗在开元末年梦见有人对他说：“请你拿著手巾五百条，袈裟五百领，到回向寺里去布施。”
他醒来后，就问身边人回向寺在什么地方，大家都说没有什么回向寺。于是，唐玄宗派人找道行高深的僧人，让其去寻访回向寺。
有个居无定所的狂僧，出面应召道：“我知道回向寺在哪里。”唐玄宗问他需要几个帮手，他说：“只要拿到该带的东西及名香一斤，马上就可以去。”唐玄宗把这些东西送给他后，这位狂僧就进了终南山。
狂僧走了两天，来到了深山极为险峻的地方，却什么也没见到。忽见他的前面出现了一个石头碾子，他吃惊地说：“此处人迹不到，怎么能有这种东西呢！”他便在碾子上点燃了带来的名香，从中午到晚上，不住地礼拜祷告苦苦哀求。过了很长时间，山谷里升起了浓雾，咫尺之间都辨不清物体。后来雾渐渐散开，在半山腰处见有红柱子白墙，玲珑精致宛如图画。过了片刻又变的清晰起来，一座寺庙矗立在云间，门上有巨大的匾额，匾额上写的正是“回向”二字。狂僧非常高兴，急忙往上攀登，不一会儿就来到了寺门。
此时正是黄昏时分，寺内传来了钟磬敲击声与僧众念佛的声音。守门人盘问他是从什么地方来的后，便领他进入庙中。先遇到有一个老僧对他说了一声“唐皇帝万福”，又让他跟在别人后面，到各个房间散发手巾等物。最后，每样东西都只剩下一份，而有间房子只有空床，也没有人。
狂僧把来意说了一遍，老僧笑着让他坐下，对侍者说：“到那间房子里把笛子拿来。”侍者将笛子拿来，狂僧一看，原是一支玉笛。老僧问道：“你见过那个胡僧没有？”狂僧回答道：“见过。”老僧说：“这支玉笛是暂且代替你的君主的。国内要有灾乱，有无数人要死掉。这支玉笛名字叫做磨灭王。那间空房子是你君主的房间，你君主在寺里时，因为爱吹笛子，所以被贬到人间。这就是他常吹的那支笛子。如今期限已经满了，马上归还他吧。”
第二天，老僧留狂僧吃过饭后，对他说：“你该回去了，可以把这支玉笛交给你的君主。还有他的这份手巾与袈裟，也让他自己收存着。”狂僧于是施礼告辞，童子把他送了出来。才走了几步，又见云雾从四面聚拢起来，等到云雾散开时，却再也看不见回向寺在什么地方了。
狂僧回来后，带著手巾与笛子等进宫献给了玄宗，并讲述了事情的全部过程。玄宗听了大为感慨，拿起笛子吹了起来，好像他先前吹过这支笛子一样。
过了二十多年，便出现了安禄山之乱，狂僧所说的那个“胡僧”，就是安禄山。
