Rok 1857 to rok założenia cmentarza o nazwie "Starokozielski". Miało to miejsce po tym jak cmentarz przy kościele pw. Świętego Krzyża był zapełniony. Cmentarz był kilkakrotnie powiększany, a jego oficjalne otwarcie miało miejsce w 1877 r. W związku z rozbudową miasta cmentarz w latach 20-tych XX wieku zostaje zamknięty, ale ponownie przejściowo użytkowany po 1945 r. Ostatecznie zostaje zamknięty w 1950 r. W roku 1982 podjęto decyzję o likwidacji cmentarz i założenie parku o tej samej nazwie co cmentarz.
Niewielki fragment cmentarza zachował się na skraju Parku Starokozielskiego przy ul. Kozielskiej. Znajduje się tu kilka zabytkowych nagrobków wzniesionych w stylu eklektycznym z końca XIX wieku. Część płyt nagrobnych pozbawiona została niemieckich inskrypcji.
W roku 2000 przeniesiono tu z Cmentarza Centralnego drewniany kościółek pw. Wniebowzięcia NMP. W roku 2005 wzniesiono pomnik upamiętniający zamordowanych w styczniu 1945 roku mieszkańców Gliwic przez wojska sowieckie (spoczywają tu w zbiorowych mogiłach). Informuje o tym tablica pamiątkowa z napisami w języku polskim i niemieckim.