早在3000多年前，这里就是殷商之京畿，人口聚集，商业和手工业较为发达。
战国时期，这里作为赵都的重要组成部分，是当时的冶铁中心，许多脍炙人口的成语典故就源于这里。
秦汉以后，战乱纷纷，绵绵千载，数度衰落，迨至民末，凋零益甚。
1945年10 月，邯郸解放。中华人民共和国成立后，邯山区的行政区划几经更易。
1980年10 月，邯山区建制，划分为8个街道办事处。
1983年5月，设立罗城头街道办事处。
1986年5月，郊区建制撤销，马头镇、马庄乡划归邯山区管辖。1994年6月设立滏东街道办事处。
1996年，邯山区面积37.1平方千米，人口约24.7万人，辖10个街道办事处、1个镇、1个乡，分别为渚河路街道、陵园路街道、光明路街道、贸西街道、贸东街道、浴新南街道、农林路街道、火磨街道、罗城头街道、滏东街道和马头镇、马庄乡。区政府邯郸市驻陵园路 58 号（位于晋冀鲁豫烈士陵园西侧）。
2000年第五次人口普查，邯山区常住总人口284540人，其中：火磨街道10878人，陵园路街道13391人，光明路街道14382人，滏东街道30801人，罗城头街道58521人，渚河路街道37739人，浴新南街道23113人，农林路街道11787人，贸东街道16225人，贸西街道16616人，马头镇33416人，马庄乡17671人。
2002年，邯山区面积37.58平方千米，人口约29.1万人。辖陵园、光明路、贸西、滏河、渚河路、贸东、罗城头、农林路、浴新南、火磨 10 个街道，马头镇和马庄乡，52个社区、23个行政村。区政府驻陵园路58号。
2003年10月，马头镇被马头生态工业城托管。2006年3月，北张庄镇由邯郸县整建制划归邯山区。
2014年2月16日，盛和路街道办事正式挂牌成立。
2016年9月，邯郸市进行部分行政区划调整，原邯郸县河沙镇镇、南堡乡、代召乡划归邯山区管辖；磁县高臾镇、光禄镇、辛庄营乡、花官营乡、台城乡划归邯山区，由冀南新区托管。