Założenie nowego cmentarza społeczności żydowskiej spowodowane było napływem Żydów do Mikołowa w początkach XIX wieku. Datuje się, że obecny cmentarz, już dawno nieużytkowany, powstał ok. 1810 roku i jest jednym z najstarszych zabytków na terenie Mikołowa. Stary cmentarz znajdował się na terenach końcowych dzisiejszej ulicy Skotnica i w miejscu dzisiejszego Gimnazjum Nr 2 i bloków mieszkalnych Osiedla im. Juliusza Słowackiego. Jednak dokładna data powstania nowego cmentarza pozostaje w sporze miejscowych historyków, spośród których niektórzy twierdzą, iż powstał on około roku 1731 lub 1740, na którą to mają wskazywać najstarsze odkryte macewy właśnie z roku 1731 i 1740.
Ślady społeczności żydowskiej na terenie Mikołowa sięgają roku 1640, jak uważają badacze dziejów miasta i okolic, które są według nich udokumentowane, mimo że Mikołów w roku 1794 nawiedził wielki pożar, który pochłonął nie tylko budynek ówczesnego ratusza, ale i całe archiwum miejskie... Po „starym” cmentarzu dziś pozostały jedynie niewielkie fragmenty kamiennego murku o wysokości ok. 40 cm., będący dawniej jego ogrodzeniem.
„Nowy” cmentarz zlokalizowany jest przy skrzyżowaniu dzisiejszych ulic: Konstytucji 3 Maja i Starej Drogi, a dawniej przy ulicy Żorskiej i nie wyglądał on tak, jak w chwili obecnej. Jeszcze do połowy XX wieku widoczne były na jego terenie alejki cmentarne, liczne, bogato zdobione macewy i stele. Nagrobków judaistycznych było znacznie więcej, lecz część z nich wykorzystano podczas okupacji hitlerowskiej do celów budowlanych, a wiele z nich zostało po II wojnie światowej rozkradzionych.
Cały teren cmentarza otaczał kiedyś kamienny mur, jednak z czasem został on rozebrany przez okolicznych mieszkańców, jak zresztą nie tylko w Mikołowie, ale w całym kraju dochodziło do takich zdarzeń. Dziś mamy tzw. lapidaria z pozostałych macew w niektórych miastach, jak np. w Chmielniku, w Świętokrzyskiem. Dziś szacuje się, że pozostało ok. 160, a niektórzy twierdzą, że ok. 200 nagrobków. Mikołowski cmentarz żydowski jest jedyną pamiątką po społeczności żydowskiej w Mikołowie, która w większości „zakończyła swe życie” w obozie koncentracyjnym w Oświęcimiu, a przedtem w getcie w Będzinie lub Sosnowcu, na terenie Zagłębia Dąbrowskiego, a która to częściowo lub w większej części przyczyniła się do rozwoju miasta.
Przy cmentarzu, w miejscu dawnego wyrobiska piasku znajduje się wspólna mogiła zamordowanych lub zmarłych z wycieńczenia i zimna Więźniów Oświęcimskich z tzw. „Marszu Śmierci” i 14. więźniów z katowickiego więzienia, przywiezionych do Mikołowa i rozstrzelanych.
Obecnie cmentarz jest ogrodzony stalowym płotem, a jego teren, jak i pozostałe na nim macewy z piaskowca porośnięte są bluszczem; w kulturze społeczności żydowskiej ich nieużytkowane cmentarze nie porządkuje się, by nie naruszyć spokoju zmarłych......