傳說，佛教中的財神，是龍王的第五子，名叫聖衍，目前全世界只有兩座寺廟供奉這位財神。而五台山的五爺廟，就是其中的一座。
五台山，素有「佛教聖地」之稱，位於山西省五台縣台懷鎮，是北嶽山脈向東南逶迤而下形成的，五峰拱衛連綿，形成一塊方圓五百餘里的地方，這裡布滿了一座又一座大小寺院，晨鐘暮鼓是這裡最動聽的音樂，吸引了海內外無數的香客遊人到此朝拜。
而五爺廟，是五台山香火最旺、據說許願最靈驗的地方。五爺廟是個龍王殿，裡面供的是五龍王。五龍王在民間深受世人崇敬，五龍王對眾生慈悲為懷，神通廣大，有求必應，五龍王被世人親切地稱為五爺，所以，也叫五爺廟。
百姓傳說中，五爺有無窮無盡的智慧，有廣闊無際的胸懷，五爺憐憫眾生，慈悲世人，善男信女供奉五爺，求官得官，求生得子，求財得財，無所不應。供奉五爺，能趨吉化凶，華蓋錦旗，勝世妙景，供奉五爺，樂善好施，開智長慧。
而另一座供奉這位財神的寺廟，在南海。
相傳，佛經記載，大慈大悲觀世音菩薩為救度芸芸眾生，發下十二大宏願，其中第二願便是「常居南海願」。
那時候，南海瘟魔遍布，疫疾虐行；百業凋敝，民不聊生。南海龍王第五子聖衍慈悲心腸，廣有財智，感知觀世音菩薩有此宏願，主動叩拜觀世音菩薩座前，願化為鰲龍，馱觀世音菩薩橫越萬里波濤，為觀世音菩薩赴南海拯救大眾護法。在龍五爺的護持下，觀世音菩薩來到南海，遍灑甘露，降伏瘟魔；驅除邪氣，救度蒼生。
雖然南海瘟魔已除，但百姓依舊窮困。於是龍五爺發願，為觀世音菩薩永遠鎮守南海，以保此地百姓富足，財源廣聚。觀世音菩薩感其慈悲心切，揮動楊柳枝，將龍五爺幻化成巨鰲山臥，人稱鰲山，也就是如今的南山
如來佛祖念五爺濟世情懷，親賜「金元寶」、「財源庫」、「聚寶盆」三件招財法器，令其掌管人間財富分配，統籌天下財源流通。龍五爺福佑南海後，這裡便成為聚財聚氣之地，被稱為九州財庫之所在，華夏財源之根源。所以南海一帶的省份，一直以來就非常富有。
因人們向龍五爺求財，有求必應，應之必靈，故被稱為「龍五爺財神」。老百姓為感念五爺惠佑蒼生，特為他建宮立殿，將五爺真身法像供奉在南山財穴之上，與供奉觀世音菩薩另一大護法的大黑天財神殿統稱為天下南北財神殿。