西来寺曾称“盘石寺”，“西来”指达摩祖师处天竺西来或佛经来自西天之意，始建年代不详，清康熙四年（1665年）重建，虽经嘉庆二年、光绪四年和民国六年几次修葺，终因年代远之，已破旧不堪。1949年后也修葺几次，不尽人意。1980年柳州市人民政府拔专款按原样重修，增高大殿，扩展空间，重建的大雄宝殿庄重大方，更显东方庙宇风彩。现为柳州市佛教协会会址。该寺禅师释志禅自1953年从桂林来到西来寺担任住持，凡40年。曾担任中国佛教协会会理事，柳州市佛教协会会长，历届市政协委员，1993年圆寂后，由释慈模法师担任住持。

历唐宋时期，广西柳州盛行建佛寺造庙宇，至宋达鼎盛，这也许是柳州南通安南，西通大理地处交通千线之故。据记载：“柳州佛教寺院庵堂古化建筑曾有23座，但由于历史原因，至今遗留下来较著名的只有清代重修的西来寺大雄宝殿建筑。

柳州佛教历史始见于唐代史书记载，仙弈山（马鞍山）山麓佛教寺庙遗址可考。唐元和十年（815年），柳宗元贬来柳州任刺史时，为改变当地人迷信巫术杀性祭神的陋习，在仙弈山下重建大云寺（后毁于大火），以教化众人“戒杀生”。宋哲宗元祐三年（1083年），仙弈山已扩大为十方禅林，高僧净悟大师觉昕来柳，任灵泉寺住持，决心仿效京都寺院格局，改灵泉寺为天宁“万寿禅寺”，相国王安中来柳撰碑记。宋绍兴七年（1137年）天宁万寿禅寺又改名为报恩光孝禅寺。西来寺承湖南岐山仁瑞寺法脉宗风，属曹洞宗法系。该寺1995年重建，占地面积1749平方米。志禅法师1993年圆寂茶毗时，得舍利花二颗，现为镇寺之宝。