傳說大香山仍為荒山野嶺時，晨昏常會散發一股沁人心脾的清香，附近居民遂稱之為「大香山」，慈音巖即處於其中。慈音巖的前身─「觀音禪寺」，主祀觀世音菩薩，民國六十七年起開始籌劃並逐步擴建，成為如今巍峨的大道場。建築採用中國傳統宮殿式造型，參酌現代工程設計，丹楹白壁，莊嚴煥炳，複殿重房，廊臺明美。啟建之初，自方位的勘定、一檐一木的架設，都經巧妙安排，深含易經、五行之理，例如將天干地支的二十八宿分別安置在廟簷的不同角落，又如建材外觀配色，採用五行相生，以求和諧美觀，慈音巖外觀的黃、白二主色，即著眼於「土生金、金生水」生生不息的象徵意義。大香山慈音巖平日致力於社會福利及弱勢團體的關懷，舉辦兒童讀經班、國學、易經、佛學講座等淨化人心的活動，推動社會善念。