Choć kształt dzisiejszy cmentarz garnizonowy zyskał dopiero w 1945 r. (wtedy połączono sąsiadujące ze sobą pola grzebalne i wyodrębniono cmentarz żołnierzy radzieckich), to miejsce to służyło chowaniu zmarłych już od czasu wojen napoleońskich, gdy nieopodal wałów miasta pochowano zarówno poległych obrońców, jak i zdobywających twierdzę. Z niewiele późniejszego okresu, bo z 1832 r. pochodzi najstarszy zachowany nagrobek – porucznika pruskiej artylerii Johanna Friedricha Matthesa. Drugim co do wieku jest zwieńczony żeliwnym krzyżem grób weterana spod Waterloo generała lejtnanta Wilhelma Gottfrieda Erdmann von Felden (+1856).
Z biegiem lat i wojen prowadzonych przez Prusy cmentarz powiększał się; choć Gdańsk był odległy od ówczesnych frontów, umierali tu żołnierze ranni i przetransportowani na leczenie oraz jeńcy. I tak w górnej (patrząc na ukształtowanie terenu) części nekropolii znajduje się kwatera związana z wojną prusko-austriacką (1866); część przeznaczona dla poddanych Habsburgów zwieńczona została pomnikiem zbudowanym z czterech luf armatnich, dziś nieco już zniszczonym. Z okresu wojny prusko-francuskiej (1870) pozostała kwatera żołnierzy pruskich i jeńców francuskich. Dużą przestrzeń zajmuje kwatera poległych podczas I wojny światowej. Pierwotnie istniały na niej wyodrębnione groby ziemne w kamiennych obramowaniach, dziś to trawnik z ustawionymi po trzy krzyżami z czarnego kamienia. W najwyższej części cmentarza stoi także pomnik jeńców rosyjskich. Z I wojną światową związany jest też obelisk na zbiorowej mogile marynarzy SMS Magdeburg, krążownika, który zatonął po uderzeniu w skały w Zatoce Fińskiej w sierpniu 1914 r.
Kwatera związana z II wojną światową wygląda podobnie jak poprzednia, tyle, że krzyże są jasne. Na kamiennych tablicach wypisano imiona i nazwiska pochowanych tu żołnierzy. Wojskowi innych narodowości (Anglicy, Włosi, Francuzi…) zostali przeniesieni na inne nekropolie. Uwagę zwraca położona od strony ul. Gielguda kwatera kombatancka zarządzana przez Porozumienie Niepodległościowych Związków Kombatanckich. Spoczywają w niej weterani podziemia niepodległościowego z okresu II wojny światowej i bezpośrednio powojennego. Dla funkcjonowania cmentarza zbudowano na początku XX w. drewnianą neogotycką kaplicę i drewniany dom grabarza (od strony ul. Dąbrowskiego).