水岩寺的修建历史久远，寺中的断碑残碣曾有“唐贞观元年重修”字样，表明其始建年代完全可以追溯到隋朝或南北朝时的北魏、北齐时期。那时，水岩寺极可能是一座厮守在“不到人间行”的碣石山主峰仙台顶前的孤庙；唐朝后期，晚年离开韩愈以后，云游到碣石山，吟出诗句为“碣石何青青，挽我双眼睛。爱尔多古峭，不到人间行”的《爱碣石山》的唐朝诗人刘叉，可能曾在这座古寺落脚。当年辽太祖在碣石山下的阶地——唐朝后期的侨置营州所在地，设置营州邻海军和广宁县以后；在寺院大殿前的石栏之内，曾在辽朝保宁元年（969年）立有两柱呈八角菱形的尊胜陀罗尼经幢，刻有《唐佛顶尊胜幢记》，上镌开元灌顶国师不空奉诏译（即唐僧不空所译《尊胜经》）。据民国二十二年（1933年）版《昌黎县志》记载，此经幢系“平州司马刘禹宝、母葛氏”和“前补马城令张报周崔唐进银青光禄大夫、检校司空使、持节营州诸军事，作营州判兼新兴铁冶、兼御史大夫，上柱国张德元”等，在“保宁元年岁次已巳四月戊申”所立。很明显，这两柱尊胜陀罗尼经幢，为当时驻守在平州（今卢龙）和营州（今昌黎）等地的达官显贵所立，从中可知水岩寺为碣石山中当时香火最旺的佛家禅林寺院。