Cmentarz został utworzony przy twierdzy, a miało to miejsce w 1835 r. Początkowo rozplanowany był na płaskim terenie w kształcie czworoboku i został podzielony na kwatery poprzecinane alejkami. Później dodano część jeniecką, która wznosi się dwoma tarasami sięgającymi fortyfikacji twierdzy. Na środkowym tarasie stała kaplica pogrzebowa.
Cmentarz po 1945 r. nie był użytkowany, a jego zamknięcie miało miejsce w 1955 r. Praktycznie od tego czasu rozpoczęła się dewastacja cmentarza ( nagrobki wykonane z marmuru w formie stel, tablic i krzyży ogrodzone kutymi w metalu ozdobnymi płotkami zostały skradzione lub zniszczone).
Początkowo na cmentarzu chowani byli wojskowi i członkowie ich rodzin, a w okresie wojen jeńcy wojenni. Z uwagi na to, że był to cmentarz komunalny spoczywają tutaj: katolicy, protestanci, prawosławni i Żydzi. Na cmentarzu zostało pochowanych wielu członków pruskich, śląskich, czy wielkopolskich rodów szlacheckich. Byli to oddelegowani do Nysy oficerowie armii oraz ich rodziny. Wg udokumentowanych danych na cmentarzu garnizonowym zostało pochowanych 6 generałów.
W pobliżu wejścia na teren cmentarza stoi pomnik poświęcony żołnierzom niemieckim poległym podczas I wojny światowej. Jest to granitowy blok posadowiony na ceglanej podstawie. Od frontu wyryty jest krzyż żelazny, data 1914 – 1918 i inskrypcja w języku niemieckim "Unsern Hekden" (Nasz bohater). Spoczywa tu ponad 100 żołnierzy niemieckich.
W centrum usytuowany jest pomnik upamiętniający 51 pruskich i 11 austro-węgierskich żołnierzy. Upamiętnia on poległych w bitwie z 1866 r., kiedy to pod Hradec Kralowe starły się armie pruska i austro-węgierska. Pomnik posadowiony jest na kilkustopniowej podstawie. Na cokole wyryta jest inskrypcja w języku niemieckim, która po przetłumaczeniu brzmi "Ku pamięci spoczywających tutaj 51 pruskich oraz 11 austro-węgierskich żołnierzy, którzy polegli w czasie bitwy w roku 1866. Postawiony ok.1909 r. przez współtowarzyszy oraz współobywateli powiatu i miasta Nysa oraz przez Stowarzyszenie Pielęgnujące Groby oraz Pomniki Poległych Żołnierzy w roku 1866 na terenie Czech i Śląska". Pomnik jest uszkodzony.
Kolejny pomnik, to pomnik w kształcie krzyża wzniesiony w 1920 r. i upamiętnia żołnierzy rosyjskich poległych w I wojnie światowej. Na pomniku inskrypcja pisana cyrylicą. Krzyż wykonany z piaskowca posadowiony jest na betonowej podstawie. Nieopodal znajduje się niezidentyfikowany grobowiec pochodzący prawdopodobnie z początku XX wieku. Jest to grobowiec z rzeźbą Chrystusa stojącego na tle krzyża.
Na uwagę zasługuje fragment nagrobka wykonany z piaskowca przedstawiająca kobietę i mężczyznę. Jest to nagrobek poświęcony tragicznie zmarłym narzeczonym. On podporucznik w armii niemieckiej Johannes Wenzlik miał zaledwie dwadzieścia trzy lata (1896-1919), a ona Edith Rösler miała lat dziewiętnaście (1900 -1919). Podczas wojny porucznik został ciężko ranny w głowę. W zranione miejsce wstawiono mu srebrną płytkę, ale skutkowało to okropnymi bólami głowy i okresową utratą pamięci. 12.01.1919 r. popełnili samobójstwo i zostali pochowani we wspólnej mogile. Trudno stwierdzić, kto z nich podjął tak drastyczną decyzję.