南山区，原称“南岗”，因设南岗采炭所得名。后因南岗采炭所改称南山矿，故改名“南山”。

原属汤原县管辖，1939年6月划归鹤立县管辖，隶属兴山街。 1945年“九三”抗日战争胜利后，1946年设立南山区，隶属兴山市管辖。1948年撤销南山区。1949年11月，改隶鹤岗市。1954年设立南山街道办事处，1958年11月改称南山经济区。

1960年12月10日，省人民委员会批准，正式设立南山区。1966年8月31日，鹤岗市人民委员会批准，改称东风区。1980年4月24日，省人民政府批准，将东风、跃进（1958年设大陆经济区，1960年12月正式设立大陆区。1966年8月31日，改称跃进区。）两区合并为南山区。