高神山観音寺は，9世紀の初期嵯峨天皇の時代弘仁3年(西暦812年)に，弘法大師が日本武尊を御神霊を仏像としてまつり，神事山と称したのが始まりで，その後，寛治元年(1087年)に大和の国の法陵律師という聖僧が，神事山の観音大士のおつげにより当地を尋ね，檜の大樹の下に，尊き十一面観世音菩薩のおわします姿を見い出して，御堂を建立安置したのが縁起です．
当山は，真言宗御室仁和寺派に属し，前述のように住吉は神事山(かうじかやま)といい，後に高野山の一字をいただいて高神山と改めました．
俗に荒神山と書いて，次郎長伝吉良の仁吉で全国にその名が知らされています．
寺院には，十一面観世音菩薩と日天，月天，地天の銅仏が安置してある本堂，春日局が寄進した梵鐘がおさめられている鐘樓堂，三宝荒神と九面観世音の二体が安置されている奥之院があります．
また，当山には慶応2年4月，当山に散華した吉良の仁吉の碑，その仁吉を倒したとされている火縄銃，弾痕などが残されています．