据寺内碑文记载，玄中寺始建于北魏孝文帝延兴二年（公元472年），落成于承明元年（公元476年）。唐朝贞观年间，唐太宗曾赐名“石壁永宁禅寺”；元和七年（公元812年），唐宪宗又赐名为“龙山石壁永宁寺”。随着皇家对玄中寺的重视，该寺院也就得到了不断的扩建，香火也十分旺盛。之后，玄中寺在历史的长河中几经磨难，历尽沧桑。金大定二十六年（公元1186年），玄中寺被大火烧尽，后经寺僧元钊负责修复。到了金末，该寺又为兵火所毁。到了元朝，由于寺院住持惠信负责修葺，使寺院得以恢复。但元末的战乱，又使玄中寺化为灰烬。明、清两代，虽进行过修建，但均未达到以前兴盛时的规模。民国年间，由于军阀割据，连年混战，再加上美、英、法、日等帝国主义国家的侵掠，玄中寺的命运一天不如一天，历史上一座名刹也未能逃脱被毁的命运。