嵩山少林寺始建于北魏太和十九年(公元四九五年)，位于河南省登封市中岳嵩山腹地的少室山下，是禅宗祖庭和少林武术的发源地。留存大量珍贵文物，如北齐以后的历代石刻四百余品；唐至清代的砖石墓塔二百五十余座；北宋的初祖庵大殿；明代的五百罗汉巨幅彩色壁画；清代的少林拳谱和十三和尚救秦王等彩色壁画等。

嵩山少林寺面对少室山，背依五乳峰。据史书记载：嵩山少林寺的第一位住持是一个叫跋陀的小乘教和尚，北魏孝文帝元宏太和二十年(496)，他从古印度跋涉来到中国，得到虔信佛教的孝文帝的崇拜。因跋陀喜欢隐居幽静之处，孝文帝就让人在少室山下密林深处为他建了一座寺院，取名嵩山少林寺。

跋陀在寺内收弟子百人，并翻译了随身带来的经典。跋陀圆寂后因无传灯接宗的规矩，其弟子也分散各地传道。数十年后，嵩山少林寺成为大乘教的基地。南朝末年，菩提达摩经过三年海上飘泊来到中国宣传大乘佛教。他先在广州光孝寺讲道传教，后被梁武帝接到南京相见。梁武帝以为自己建寺、写经、度僧造像甚多，积有不少功德，而达摩却说“无功德”，所作皆是“有为之事”，不是实在的功德。二人话不投机，达摩便以五叶芒苇作舟渡江，入魏，来到嵩山少林寺，创立了禅宗。他所传的禅宗不重玄理，而主张坐禅“壁观”，以面壁沉思，屏息众念来领悟禅理，这种简便易行的修养方法自然易于推广，使得后来禅宗成为中国佛教的主流派别，达摩则被中国禅门定为初祖。唐代宗赐谥“圆觉禅师”。由于达摩所传的大乘教对当时流行于中国广大地区的旧禅法是一种革新，因此斗争激烈。

达摩去世后，他的弟子们形成了以慧能为首的南宗和以禅秀为首的北宗。南北宗在教义上无多大区别，但在修行上北宗倡导“渐悟”，而南宗倡导“顿悟”，主张“放下屠刀，立地成佛”。经过十几年的争执，至唐德宗时，南宗终于取代了北宗的势力。此后嵩山少林寺一直成为南宗一派的传法道场。后南宗内部又分为曹洞、临济、云门、法眼和沩仰五宗，其中以曹、临二宗影响最大。元初后，嵩山少林寺明确以曹洞宗为正宗，一直延续至今。

嵩山少林寺曾一次被废，二次被焚。被废发生在北周武帝时，当时国内信佛人数占居民一半，生产受到影响，损害了皇室利益。于是建德三年(574)周武帝下令禁佛、道二教。嵩山少林寺被废弃，僧众纷纷遣散回乡。七世纪初，少林和尚们因在李世民征战中助战有功，受到唐王大力支持，又重建嵩山少林寺。至宋时，寺已聚僧二千多人，楼台殿阁五千余间，占地36公顷，藏经近万卷，号称“天下第一名刹”。清雍正年间(1723-1735)皇帝怕武僧造反，放火围攻寺院，将嵩山少林寺置于火海中。乾隆以后又加以重修。1928年，军阀石友三纵火又将名刹付之一炬，这次大火损失严重，火势延续五个昼夜，七进院落只剩下二、三间，无数经典、法器等贵重文物化为焦土。解放后又多次整修，逐渐恢复往昔模样。现寺共七进，总面积约三万多平方米，规模宏大，并有常住院、初祖庵、二祖庵、三祖庵、塔林、甘露台、祠堂及南园等附属建筑。