「牛鬼蛇神」這一俗語廣為人知是在「文化大革命」中，凡是思想文化領域的專家學者一概被打成「牛鬼蛇神」，受到嚴厲的批判，關進「牛棚」勞動改造。「牛鬼蛇神」從此成了形形色色的壞人的代名詞。
「牛鬼蛇神」這一俗語來源於佛教用語。「牛鬼」和「蛇神」分屬不同的兩種類別。顧名思義，「牛鬼」屬於鬼的系統，「蛇神」屬於神的系統。「牛鬼」是地獄中的牛頭鬼卒，名叫阿旁，連稱為「牛頭阿旁」，出自《五苦經》：「獄卒名阿旁，牛頭人手，兩腳牛蹄，力壯排山。」《法苑珠林》引《罪業報應教化地獄經》：「牛頭阿傍，以三股鐵叉，叉人內著鑊湯中，煮之令爛。」可見，牛頭阿旁的特點是力大如牛，任務是負責懲罰那些墮入地獄的壞人。
「蛇神」屬於「天龍八部」系統中的一種。佛教分諸天、龍及鬼神為八部，因八部中以天、龍二部居首，故曰「天龍八部」，後來被著名的武俠小說家金庸先生用作了書名。「天龍八部」分別是：一天眾，即眾天神;二龍眾，職掌興雲布雨的龍王;三夜叉，佛教的護法神;四乾闥婆，身上散發出濃郁的香氣，管理音樂的神;五阿修羅，專門與佛作對，好戰的惡神;六迦樓羅，即大鵬金翅鳥，岳飛就是這種神鳥的轉世;七緊那羅，歌神，專門演奏法樂的音樂家;八摩呼羅迦，大蟒蛇神，人身蛇頭。「蛇神」即八部最後一部的摩呼羅迦，大蟒蛇神，職責是守衛佛法。
最早將「牛鬼」和「蛇神」組合在一起使用的是唐朝詩人杜牧。唐朝另一位著名詩人李賀，詩風怪誕，人稱「詩鬼」和「牛鬼少年」。在評價李賀的詩歌成就時，杜牧寫道：「鯨呿鰲擲，牛鬼蛇神，不足為其虛荒誕幻也。」形容李賀的詩歌風格「虛荒誕幻」，簡直不像人間所有。從此之後，「牛鬼蛇神」慢慢被引喻為歪門邪道、陰暗醜惡的東西。