Aż do połowy XVIII w. zmarłych chowano na cmentarzach parafialnych, położonych w bezpośrednim sąsiedztwie miejskich kościołów. Kiedy jednak wzrosła świadomość zagrożeń sanitarnych, dostrzeżono potrzebę przeniesienia miejsc pochówku poza granice miasta. Podobnie się miała sprawa cmentarza parafialnego w Środzie Wielkopolskiej.
W 1792 r. Komisja Policji Obojga Narodów wydała „Uniwersał do Miast Wolnych Względem Cmentarzy i Szlachtuzów”. Na mocy nowego prawa rada miejska zadecydowała, że nowy cmentarz zostanie ulokowany poza murami, przy XVII-wiecznym kościele św. Sebastiana. Początkowo teren cmentarza zajmował ok. 0,7 ha, który w 1833 r. powiększono do 2 ha.
Ponieważ początkowo pochówki odbywały się w przypadkowych miejscach, bez konkretnego planu, w 1833 r. powołano Komisję Upiększania Cmentarza. Inicjatorem tych działań był średzki wikariusz z kolegiaty, ks. Augustyn Szamarzewski. Dzięki tej inicjatywie uporządkowano teren, wytyczono kwatery i alejki, które obsadzono drzewami. Wyrównano też poziom gruntów oraz wybudowano ogrodzenia. Nie były to działania jednorazowe, gdyż cmentarz jeszcze kilkakrotnie był powiększany. Ostatni zakup kolejnej działki pod cmentarz miał miejsce w 1995 r. i obecnie zajmuje powierzchnię 4,5 ha. W 1913 r. wybudowano neoromańską kaplicę pw. Opieki św. Józefa.
Średzki cmentarz jest jednym z kilku w Wielkopolsce, gdzie zachował się zespół XIX wiecznych kaplic grobowych, z zachowanym starym drzewostanem. Wśród kwater wyróżnia się duża kwatera powstańców wielkopolskich, którą urządzono w 1935 r. Obok pojedynczych mogił powstańczych ustawiono duży obelisk, na którym umieszczono orła, stylizowany krzyż powstańczy oraz napis „Dla Ciebie Polsko i dla Twej chwały”. Zniszczony przez hitlerowców pomnik został po wojnie odbudowany w innej formie, z zachowaniem wspomnianej sentencji. W kwaterze powstańczej spoczywa 136 Powstańców Wielkopolskich oraz mieszkańcy miasta zamordowani przez Niemców.
W 1998 r. cmentarz wraz z ogrodzeniem, kaplicą i XIX-wiecznym nagrobkami został wpisany do rejestru zabytków.