五爷庙原为塔院寺的一座属庙，因此只有一个不大的院子。寺庙本名万佛阁，因院中五龙王殿內供奉着相传专管五台山耕云布雨的五尊龙王，所以当地人也称此处为五爷庙。据说这里烧香许愿最为灵验，并且殿里挂满了香客还愿的匾额。