韬光寺是蜀地名僧韬光禅师所建。一日，禅师辞师出游，师父给他一道偈语：“遇天可前，逢巢则止。”唐穆宗长庆年间当他游至灵隐寺西北集枸坞时，正值白居易（字乐天）任杭州刺史，心想：“吾师命之矣。”遂在此住持。

五代后晋天福三年（938年）吴越王重建，改名广岩庵，宋真宗大中祥符年间（1008—1016年）又名法安院，后寺以人名，为韬光寺。在韬光寺顶的岩壁内，有一个丹涯宝洞，相传是吕洞宾炼丹之地。吕洞宾和佛教有很深的因缘，《五灯会元卷第八》记载：吕洞宾道经黄龙山，正值黄龙祖师击鼓升堂。祖师见吕洞宾，厉声喝道：“座傍有窃法者。”吕毅然出，问：“一粒粟中藏世界，半升铛内煮山川。且道此意如何？”祖师说：“这守尸鬼。饶经八万劫，终是落空亡。”吕飞剑斩黄龙，剑不能人。遂再拜求教。

祖师反问道：“半升铛内煮山川即不问，如何是一粒粟中藏世界？”吕于言下顿悟。作偈曰：“弃却瓢囊槭碎琴，如今不恋水中金。自从一见黄龙后，始觉从前错用心。”于是祖师命他为佛教护法。明万历十二年（1584年），为祭祀吕洞宾，当地人在此建吕纯阳殿，参政郭子章为之记。