香零山位于城東3公里處瀟水河心，東西長約25m，南北寬約15m，高出水面約8m，是天然石磯結構的小島。據《永州府志》載：“山曰香零是生香草，零與苓古文通，故名”，又舊《零陵縣志》載“郡以此保，地產香草其葉如羅勒，香聞數十步，唐世上供之，郡人苦之，刺史韋宙秦罷之”。香零山山勢險峻，風景優美，春流蕩蕩之時，有如貼水芙蓉，與波明滅；秋高水落之時，則亭亭孤寺，不可攀躋；若雨后日出，煙繞山腳，縷波而起，林螟江動，水叫石激；往來舟楫若影若現，如有置身煙波浩淼之境，更有“香零煙雨”之稱。柳宗元、徐霞客曾到此游覽，并留有詩文遺跡。過去這里水流湍急，“每逢春夏水漲，誤觸之，木漂人溺，慘人心目，間有攀登山頂者，白浪掀天，兩岸坐視其凍餓而不敢救。”清同治癸酉年(1863年)，邑紳黎得盛、王德榜等人倡建觀音閣于山上，招僧居內，設救生船只，雇請專人役使，漲水時，白天打鐘，晚上點燈并常備衣食以周濟落水者。1988年進行了一次維修后，游人絡繹不絕。