縣城小西門外有小山，山中古木參天，百鳥爭棲。綠蔭深處有一古寺，始名香山館，后為和尚所居，遂稱香山寺。

　　寺內有古佛3尊，塑像高逾兩丈，全身貼金，光彩照人。一佛居中，閉目養神，左右兩佛，展眉放眼，大有呼之欲出之態。殿壁描龍畫虎，絢麗多姿。自唐貞觀（627－649）年間建館起，香山館即為游覽勝境。寺前有古并一日，水清如鏡，冬暖夏涼。井中有金鯉，雙雙對對，雄追雌逐，見人不避。寺中最引人人勝的是左右各懸一鐘，各重1500公斤，鐘上鑄云雷紋，工藝精巧。每叩一聲，響徹全城。鐘聲隨早晚晴陰雨雪變化而異，晴則鐘音洪亮，雨則鐘聲悠揚，陰則鐘韻低沉，晨敲則聲脆，晚叩則聲清。開元（713－741）中，宰相裴休曾居香山館研究過佛學，詩人竇常亦曾來此觀賞，留下了《香山館聽子規》詩：“楚塞余春聽漸稀，斷猿今又淚沾農。云埋老樹空山里，仿佛千聲一度飛。”