香山寺，位于江口縣城三星路南面紅廟岩西側縣圖書館前面，座東向西，原叫觀音廟，建築年代不詳，于清道光二十二年十月（1883年11月）更名爲香山寺。
香山寺分前後兩進和數棟廂房，包括空地，總面積約11000平方米，是一個寺廟建築群。第一進爲大佛殿，大殿是連三間大木房，面闊15.3米，每間5.1米，進深13米，中堂兩列爲五柱十一瓜借瓜沖頂，兩山兩列爲八柱八瓜。中央供奉觀音菩薩像，是僧尼從事佛事活動的場所；第二進和兩邊廂房爲禅房，是僧尼平時讀經和生活的地方。前後兩進四周以6米多的高牆圍繞，與外界隔開。高牆的左右兩側均開有門，通往外面的廂房。正殿兩邊的數棟廂房，主要用來接待客僧及餐飲起居。
香山寺不僅是建立較早的一個寺廟，在佛教傳入梵淨山的初期，也曾是這一地區的主要寺廟。據梵淨山多數寺廟的墓塔和碑碣記載，梵淨山地區寺廟許多禅師都曾到“香山授法”，在香山寺受戒爲僧。一些碑文中寫到：“香山嗣法”。例如《海闊禅師塔銘》文稱：“香山授法，日月同全”。又如，天慶寺（天慶堂）的福圖滿禅師，護國寺（天池院）的慧惺禅師等都是香山寺聖符道樾禅師的嗣法弟子。《梵淨山紀略·梵净山佛教考》有更加详细的阐述：“明清之际，在梵净山区域的寺院中，江口香山寺曾一度为拥有授戒资格的寺院，政府认可的授戒师为圣符道樾等禅师。其它寺院，诸如天庆寺、护国寺、坝梅寺，规模皆较小，戒师不足十人，无传戒资格。后来，坝梅寺兴隆起来，传教资格由香山寺转到坝梅寺”。禅房侧的石门上有对联一副：“要成法界开源处，此是禅宗第一关”。这也说明了香山寺在梵净山寺庙中的地位。从上述史料可以证实，在较早的某一时期，香山寺是梵净山区域传授佛法、为僧授戒、传临济宗的中枢寺院。当地老百姓也有这样的传说：香山寺内供观音大士和八大金刚等像，是传经授戒之地。后来佛教向梵净山深处发展，授戒点转到坝梅寺，这里才专门作为尼姑修行的地方，从此更名为香山寺。这一传说也许有它的真实性。香山寺因战乱和时代的变迁也曾作改作它用。1936年紅六軍團長征轉戰江口，部隊曾在寺內駐過；1939年8月國立三中分校駐江時，以此爲主要教室，當時進步學生在寺中幹牆入門右側的粉牆上題有“全國不做漢奸和敵人的順民”及“勵邁進”十五個朱書繁體大字（這堵牆和字現還保留）；1947年江口縣佛教協會設在寺內。新中國成立後，寺廟爲雙江糧站倉庫、面條加工場所，保存較好。2005年建香山花園大樓，將三棟廂房拆掉，現只剩下佛殿和禅房。