春秋時屬晉，戰國時屬魏，秦屬河東郡。漢為襄陵縣地，北魏置葛城縣，北齊併入禽昌縣，北周置郭城縣，隋廢，仍為襄陵縣地。唐武德二年(619)於今古縣村置浮山縣，屬晉州。 三年，見“神人”於羊角山下，故改名鐘山縣。五代、宋俱名鐘山。後唐同光二年(924)移今治。宋屬平陽府。金大定七年(1167)復名浮山縣。興定四年(1220)改名忠孝縣。元復稱浮山縣，屬晉寧路。從此以後均名浮山，明、清屬平陽府。民國屬河東道。抗日戰爭時期為我根據地，曾以臨浮公路為界，南為青城縣，北為浮山縣。1947年4月縣城解放，恢復浮山縣建制。今屬山西臨汾市。
