色拉寺摩崖雕刻：白度母像

据载，色拉寺在建寺前，色拉乌孜山腰有宗喀巴和贾曹杰、克珠杰两弟子的修行洞三座。宗喀巴修行洞居中，面积约6平方米，二弟子侍列两旁。后两弟子为了报师恩，将宗喀巴的修行洞维修扩建成为一修行殿，称“色拉孜惹坠”，意为“色拉山修行院。”色拉寺东北山腰上的“曲顶岗惹坠”也传为建寺前的建筑。5世纪初，宗喀巴在此修行并校注了许多佛经，编著了不少著作。这两座建筑都是色拉寺的重要组成部分。

色拉寺在历史上多次遭受自然灾害和战乱的破坏，十年动乱中复受损害。现已得到政府的维修，特别是寺僧利用佛事活动之余，在寺前沙滩上种植近2万株水蜜桃、苹果等经济林木，既美化了环境，又增加了收入，改善了寺僧的生活。