灵山，最早叫八山，源于八座主要山峰。其最高峰叫霸山，古人误以为此峰为县境最高峰之故。因“八”“霸”音近，后八山被混称为霸山。此山“每有云气覆顶必雨，验之信然”，其中一次高峰叫小灵山，自然与山名吻合，“灵”“霸”二字又同一“雨”头，故霸山之名渐被灵山取代。