公元前二世纪，印度大乘佛教建立，为争夺佛教正统，大乘佛教将以前的原始佛教和部派佛教贬称为“小乘”，意谓“小道”或“小业”。在大乘看来，小乘佛教是“在小道行进的车辆”，是佛陀为小根器之人所说的教法。小乘佛教在教义和实践上较多地保持了早期佛教的特点，在理论上，小乘佛教主张“我空法有”，即否认实有的我体，但不否认客观物质世界的存在。对佛陀，认为佛陀是历史性人物，他所达到的解脱境界，是一般世俗之人所不能达到的。并且主张通过自己的修行来得到解脱，重视修行次序和修行效果，强调修习戒、定、慧三学和八正道方法，要求独善其身，先利已，后利他人等等。据资料记载，南传佛教认为有18个部派，北传佛教说有20个部派。

公元前3世纪，佛教由南印度向南传播到斯里兰卡、缅甸等国，复又传入泰国、老挝、柬埔寨等国，形成了南传佛教系统。这一系统的佛教因基本上没有受到大乘佛教的影响，至今仍然保留了部派佛教的一些特征，因之有人称其为小乘佛教。但是，该派认为自己属于南传上座部佛教，不同意小乘的称呼。现在我们所说的“小乘”，主要是沿用了历史的固定说法，没有任何褒贬。不过，为了尊重佛教徒的思想感情，使用“小乘”要慎重，若指南传佛教，应用“南传上座部佛教”为宜。小乘佛教也曾传入过中国。中国最早传入的是安世高的小乘禅数学，后来流行的小乘说一切有部的学说。与有部对立的小乘空宗成实宗的思想也一度有过重要的影响。小乘佛教的基本经典都在中国译出，至今仍然保存下来。但是，小乘最终没有在中国汉、藏两地佛教里占有主流的地位，只有一些小乘的经论曾经在中国佛教里起到过重要作用，例如《俱舍论》、《成实论》等等。