汉末晋初年间，道教祖师葛玄蹭游历江浙一带，至玉环岛（古称：地肺山）见凤凰山风景秀丽，风水绝佳，遂在凤凰山潜居修道炼丹，丹成杳杳不知所踪，唯留丹炉一座，后人为纪念遂在丹炉旧址修庙一座。几经风雨残破不堪，后至清康熙年间，康熙帝南巡时曾至古庙旧址，问及随行官吏，答曰：只知乃晋时葛玄炼丹留丹炉改建。始于何年今已难考。山崖尚存葛玄符石图石刻一副。后清嘉庆年末，山下汪洋旋涡水急，时有覆舟，渔民常遭倭寇抢杀掠夺。渔民筹资于古庙遗址修建杨府庙一座，以求乡方宁静，境界清平。1958年，第一次回填漩门，庙堂被拆，乡绅信众将香炉暂奉大山头道院吕祖殿。1973年，由当地吕姓善人带领信众在石刻符图左下开山辟地重新建造小庙一座，请回香炉安置庙内。1984年，扩建坐北朝南正屋3、左右两侧单房4间。现新建大殿5间，单房阁楼等，兼祀神府杨将全堂。