Prace nad utworzeniem nowego cmentarza dla miasta rozpoczęły się w 1895. Na mocy uchwały Rady Miasta rozpoczęto poszukiwanie właściwego terenu. Mimo protestów kanonika kościoła farnego, kupna dziewięciu mórg pola od hrabiego Romana Potockiego, dokonano w grudniu 1905 kosztem 2900 koron. Prace budowlano-ziemne ruszyły szybko, ale pierwotnie planowany termin otwarcia (1 maja 1909) przesunięto na początek roku następnego.
Wraz z otwarciem nowego, 1 stycznia 1910, zamknięto Stary Cmentarz w Rzeszowie. Pierwsza osobą pochowaną na nowym cmentarzu była 20-letnia Helena Rajterówna. W trakcie I wojny światowej spoczęło tutaj ok. 2500 żołnierzy różnych nacji. Znajdują się tu także zbiorowe mogiły Polaków pochodzące z okresu II wojny, zabitych przez hitlerowskich okupantów, w większości ekshumowane z mogił rozsianych po mieście i okolicy, a także żołnierzy Wojska Polskiego poległych w walkach kampanii wrześniowej oraz w 1944.
Na cmentarzu znalazły się również mogiły niemieckie. W latach 1939-1944 na Pobitnym pochowano ok. 450 Niemców, dla których wydzielono osobne kwatery. Po wojnie szczątki złożono w zbiorowych mogiłach. Kolejny raz zostały ekshumowane przez Fundację "Pamięć" i przeniesione na cmentarz żołnierzy niemieckich w Siemianowicach Śląskich. Po wojnie w kwaterze XXX utworzono mały cmentarzyk żołnierzy WP (ok. 190 pochówków) poległych w walkach z UPA. Do końca wojny na cmentarzu spoczęło ponad 10,5 tys. osób. Do końca lat 70. XX wieku liczba ta potroiła się.
Zasadniczy wpływ na spadek liczby pochówków w latach 80. i późniejszych miało wybudowanie Cmentarza Komunalnego Wilkowyja. Cmentarz ma powierzchnię ok. 7 ha w formie wydłużonego prostokąta. Z trzech stron otoczony jest wysokim murem z cegły, z jednej zaś siatką. Posiada 2 bramy - główną, południową i mniejszą północną. Nekropolia podzielona jest na 36 kwater, numerowanych rzymskimi liczbami. Ich siatkę wyznaczają 1. aleja główna, biegnąca prosto od strony bramy głównej przeciętej poprzecznie 5. węższymi ścieżkami.
Na terenie cmentarza znajduje się ponadto zabytkowy drzewostan. Kaplica cmentarna została ulokowana przy bramie głównej cmentarza. Cmentarz ten otwarto 1 stycznia 1910 roku. Utworzono tu także zbiorowe mogiły Polaków pomordowanych przez hitlerowców w różnych miejscach na terenie Rzeszowa i okolic. W okresie powojennym na cmentarzu wydzielono miejsce dla 150 polskich żołnierzy poległych w walkach z UPA.