隋开皇十八年(598)置南宾县，唐天宝元年(742)改名。以境内有灵山得名。治今广西灵山县西旧州。宋为钦州治。治平三年(1066)移治今县(灵城)。元属钦州路，明清属廉州府。本属广东省，1952—1955及1965年后划归广西。
