前身為焦作市郊區(qū)。1990年經(jīng)國務(wù)院批準(zhǔn)，原郊區(qū)更名為山陽區(qū)。因始建于戰(zhàn)國初期的山陽城而得名。

2005年，將修武縣的李萬鄉(xiāng)劃歸山陽區(qū)管轄。

2000年，山陽區(qū)轄7個(gè)街道、3個(gè)鄉(xiāng)。根據(jù)第五次人口普查數(shù)據(jù)，全區(qū)總?cè)丝?/SPAN>233639人，其中：東方紅街道 36088人、焦東街道 20858人、百間房街道 9234人、太行街道 19516人、藝新街道 30792人、光亞街道 25494人、定和街道 17598人、百間房鄉(xiāng) 19765人、恩村鄉(xiāng) 32343人、李萬鄉(xiāng) 21951人。

2005年，山陽區(qū)鄉(xiāng)鎮(zhèn)區(qū)劃調(diào)整：撤銷恩村鄉(xiāng)，設(shè)立新城街道辦事處，管轄原恩村鄉(xiāng)行政區(qū)域，辦事處駐恩村三街；撤銷百間房鄉(xiāng)，設(shè)立中星街道辦事處，管轄原百間房鄉(xiāng)行政區(qū)域，辦事處駐廟河村；撤銷李萬鄉(xiāng)，設(shè)立李萬街道辦事處，管轄原李萬鄉(xiāng)行政區(qū)域，辦事處駐神州路。

截至2005年12月31日，山陽區(qū)轄10個(gè)街道：東方紅街道、焦東街道、百間房街道、藝新街道、定和街道、太行街道、光亞街道、新城街道（新增）、中星街道（新增）、李萬街道（新增）。其中，李萬街道委托高新區(qū)管理。