历史上的灵峰寺，依山傍水而建，布局错落有致，规模十分宏大。据《清嘉庆三台县志图》描绘：跨河有桥，宛如“缺月初弓”，建于铁琴遇“仙”——得“旃檀”处，因名“遇仙”。其山有平台三层。过遇仙桥，拾级登山二三十步，即至第一重平台。其上由南而北，依次建山门、天王殿、七佛殿、转轮殿、大雄殿和摇碑亭。由转轮殿左侧梯径向上，达第二重平台。其上由南而北，建“西天佛国”坊、大悲殿；左右两厢，建僧寮斋堂。出“西天佛国”坊向南，有峰雄峙，形似牛头，是为第三重台，也是全寺制高点。其上，由北向南，设文昌殿、雷祖殿，其东建华严阁、睡仙殿。文昌殿西，石筑高台，上设碑林，陈列初唐“丹青宰相”阎立本《释迦文佛立像》碑、盛唐“画圣”吴道子《观音大士立像》碑及南宋左朝奉郎蜀州通判王咸父《灵峰院钟楼记》碑等历代名碑。其寺占地面积，当在一万平方米之上。

灵峰寺地理位置重要，水陆交通发达，古今名流，多会于此。“西天佛国”巨匾相传为大唐圣僧玄奘手迹；五代气功大师、理学家陈抟，据说曾于此隐居；北宋梓州状元苏易简，曾在其地饮酒赋诗。南宋至明、清，灵峰寺高僧辈出，仅见诸著述和碑刻者，就有铁琴、宝胜、智悟、可辰和万星等人。铁琴为灵峰寺南宋鼻祖，因得婆叟仙臂功，其寺由此声名大著。宝胜为铁琴后继，于绍兴丁已“创建钟楼于院之山顶”。其楼高七仞，合五丈六尺，高大雄伟，巍峨壮丽，举首仰望，动人心目。“元季寺废”后，智悟于明永乐间“励志复兴古刹，不数年而底于成”。灵峰寺于是再度辉煌。沙门可辰，为“本州（潼川）本坝（白岩坝）人”乃于明万历间，“游南海、登普陀，延访至人，勇猛精劲，十年而归。出所藏古名笔佛”——阎立本《释迦文佛立像》，吴道子《观音大士立像》，重摹刊刻维摩天大士像碑、弥勒古佛像碑于左右。明末，灵峰寺复毁于兵火。清乾隆二十二年（1757），潼川知府令本境绅士“接南路梦龙届（在今景福镇）僧万星，来山修葺。苦心募化，新修观音、七佛、天王并雷神诸殿。”可辰“坐化”之后，其徒众遵照遗嘱，“竭力蓄树，寒暑不辞。每栽一树，即颂经一卷。”前后十年，累计植柏凡“五千四百八十根”。从此，灵峰寺林木森郁，鸟语花香，山水之秀，风光之美，甲于潼川。清嘉庆年间三台知县将“灵峰仙迹”收入“三台六景”，并绘图存志。