三山是廣東省潮州揭陽縣阿婆墟的明山、獨山和巾山等三座山山神的總稱。三山國王為山神，屬自然崇拜，但後來的傳說卻予與人格化，稱三山國王為異姓兄弟，三人皆允文允武，南北朝時，助隋文帝完成帝業，被封為開國駕前三大將軍，退隱後修成正果。客家人對三山國王信仰極為虔誠，奉為守護神。 昔日粵東鄉民來台時，頗多隨身祭奉來台，祈求平安，所以台灣客家聚落大都有此神明。苗栗市三山國王廟座落在南苗木鐸山﹝及苗栗國中前尖豐公路旁﹞。此廟創見於道光年間，日人治台後，選定此廟址為派出所建地，原廟被拆，而神位移南苗天雲廟安奉。 民國51年地方信徒認為三山國王一直寄人籬下，遂創議另建新廟。而當年農曆七月十八日夜狂風暴雨，雷電交加，南苗木鐸山的一顆巨石，被劈成三半，石面上出現龍紋，組成「三」字，信徒認為這是神靈啟示，決定在該地創建新廟。