祥云寺座落在苍南县县治所在地——灵溪镇河滨西路，始建年代失考，清同治六年（1867）重建，民国26年（1937）曾被占为国民党灵溪区会议室，解放后，数度迁移，于1987年才定址今之龟山北麓。1980年到1987年释各醒住持二次重建，建成大雄宝殿和斋房，寺周围墙。1994年各专师住持募建天王殿、地藏殿，1997年释昌法扩建药师楼和装饰藏经楼，2004年请来168卷“龙藏”一部，又将现有建筑予以装修。2006年来因遭受“桑美”等多次强台风侵袭，寺后山体滑坡严重，地基沉降滑移，寺为危房。2009年初在住持释觉圆主持下，祥云寺开始全面规划重建。2010年9月份药师楼主体建筑竣工。2011年11月份大雄宝殿重建工程动工。
历次重建和扩建，使山寺成为占地面积3180余平方米的颇具规模的闹市丛林。此赖当地护法许启苏等人和十方施主的鼎力支持、资助，有立碑为记。