传说大香山仍为荒山野岭时,晨昏常会散发一股沁人心脾的清香,附近居民遂称之为「大香山」,慈音岩即处於其中。慈音岩的前身─「观音禅寺」,主祀观世音菩萨,民国六十七年起开始筹划并逐步扩建,成为如今巍峨的大道场。建筑采用中国传统宫殿式造型,参酌现代工程设计,丹楹白壁,庄严焕炳,复殿重房,廊台明美。启建之初,自方位的勘定、一檐一木的架设,都经巧妙安排,深含易经、五行之理,例如将天干地支的二十八宿分别安置在庙檐的不同角落,又如建材外观配色,采用五行相生,以求和谐美观,慈音岩外观的黄、白二主色,即着眼於「土生金、金生水」生生不息的象徵意义。大香山慈音岩平日致力於社会福利及弱势团体的关怀,举办儿童读经班、国学、易经、佛学讲座等净化人心的活动,推动社会善念。