传说大香山仍为荒山野岭时，晨昏常会散发一股沁人心脾的清香，附近居民遂称之为「大香山」，慈音岩即处於其中。慈音岩的前身─「观音禅寺」，主祀观世音菩萨，民国六十七年起开始筹划并逐步扩建，成为如今巍峨的大道场。建筑采用中国传统宫殿式造型，参酌现代工程设计，丹楹白壁，庄严焕炳，复殿重房，廊台明美。启建之初，自方位的勘定、一檐一木的架设，都经巧妙安排，深含易经、五行之理，例如将天干地支的二十八宿分别安置在庙檐的不同角落，又如建材外观配色，采用五行相生，以求和谐美观，慈音岩外观的黄、白二主色，即着眼於「土生金、金生水」生生不息的象徵意义。大香山慈音岩平日致力於社会福利及弱势团体的关怀，举办儿童读经班、国学、易经、佛学讲座等净化人心的活动，推动社会善念。