“牛鬼蛇神”这一俗语来源于佛教用语。“牛鬼”和“蛇神”分属不同的两种类别。顾名思义，“牛鬼”属于鬼的系统，“蛇神”属于神的系统。“牛鬼”是地狱中的牛头鬼卒，名叫阿旁，连称为“牛头阿旁”，出自《五苦经》：“狱卒名阿旁，牛头人手，两脚牛蹄，力壮排山。”《法苑珠林》引《罪业报应教化地狱经》：“牛头阿旁，以三股铁叉，叉人内著镬汤中，煮之令烂。”可见，牛头阿旁的特点是力大如牛，任务是负责惩罚那些堕入地狱的坏人。

“蛇神”属于“天龙八部”系统中的一种。佛教分诸天、龙及鬼神为八部，因八部中以天、龙二部居首，故曰“天龙八部”。“天龙八部”分别是：一天众，即众天神；二龙众，职掌兴云布雨的龙王；三夜叉，佛教的护法神；四乾闼婆，身上散发出浓郁的香气，管理音乐的神；五阿修罗，专门与佛作对，好战的恶神；六迦楼罗，即大鹏金翅鸟，岳飞就是这种神鸟的转世；七紧那罗，歌神，专门演奏法乐的音乐家；八摩呼罗迦，大蟒蛇神，人身蛇头。“蛇神”即八部最后一部的摩呼罗迦，大蟒蛇神，职责是守卫佛法。

最早将“牛鬼”和“蛇神”组合在一起使用的是唐朝诗人杜牧。唐朝另一位著名诗人李贺，诗风怪诞，人称“诗鬼”和“牛鬼少年”。在评价李贺的诗歌成就时，杜牧写道：“鲸呿鳌掷，牛鬼蛇神，不足为其虚荒诞幻也。”形容李贺的诗歌风格“虚荒诞幻”，简直不像人间所有。但这个词也并没有完全贬斥的意思。