Obok Cmentarza Łyczakowskiego we Lwowie, na Powązkach w Warszawie, Rakowieckiego w Krakowie, Cmentarz na Rossie jest jedną z najważniejszych nekropolii pamięci narodowej Polaków. Źródła datują założenia cmentarza na 6 maja 1801 r., kiedy magistrat Wilna wyznaczył na potrzeby pochówków przy parafialnym kościele Wniebowstąpienia Pańskiego około 3,5 ha.
Teren ten to były wtedy dalekie miejskie peryferia. Dzielnica nazywała się Rossa. Prawdopodobnie, w tym samym miejscu, jeszcze w połowie XVIII w. chowano zmarłych na zarazę, samobójców i żołnierzy. Położony na uboczu miasta, przy drodze z Popławów do Rybiszek cmentarz początkowo pozostawał pod opieką księży misjonarzy. W 1820 r. został otoczony murowanym ogrodzenie.
Po zlikwidowaniu parafii Wniebowstąpienia Pańskiego cmentarz przeszedł w 1844 r. pod opiekę kościoła św. Jana. Mniej więcej w tym samym czasie, ks. Józef Bogdanowicz oraz prof. Uniwersytetu Wileńskiego Jan Waszkiewicz wybudowali na cmentarzu kaplicę w stylu neogotyckim. Później dr. Hilary Raduszkiewicz wybudował przy kaplicy oratorium z dzwonnicą oraz grobowiec dla siebie. Obok kaplicy, z dwóch jej stron znajdowały się wielokondygnacyjne kolumbaria czyli katakumby lub inaczej pieczary. Podobne zachowały się do dziś na Cmentarzu Bernardyńskim na Zarzeczu. Na Rossie zostały zburzone pod koniec lat 30. ubiegłego stulecia, zaś ich resztki zburzono po wojnie na początku lat 50.
Obok głównej bramy cmentarza, po lewej stronie znajduje się kwatera żołnierzy. Niewielki cmentarzyk wojskowy zaprojektował prof. Wojciech Jastrzębski. Z tego miejsca turyści zazwyczaj rozpoczynają zwiedzanie wileńskiej nekropolii. Są tu pochowani polscy żołnierze polegli w walkach o Wilno w latach 1919–1920 i 1939 r. oraz podczas operacji „Ostra Brama” w lipcu 1944 r. przeprowadzonej w ramach ogólnokrajowej operacji AK „Burza”.
Głównym jednak akcentem kwatery jest mauzoleum Marszałka Piłsudskiego. Pośród grobów wojskowych przy murze cmentarnym znajduje się wzniesienie z ogromnym nagrobnym głazem. Na kamieniu nie ma ani imienia, ani nazwiska, żadnych dat. Pod płytą z czarnego wołyńskiego granitu spoczywa Maria z Billewiczów Piłsudska (zm. 1884) i serce jej syna. Złożone w srebrnej urnie 12 maja 1936 r., w pierwszą rocznicę śmierci Marszałka, podczas uroczystej ceremonii z udziałem prezydenta Ignacego Mościckiego. Od tego czasu przy mauzoleum Marszałka zawsze stała warta honorowa. Po zajęciu Wilna przez Rosjan doszło tu do wymiany ognia, o czym świadczą ślady karabinowych kul na płycie Mauzoleum. Rosjanie wtedy po prostu zamordowali trzech żołnierzy z ostatniej zmiany warty. Na cmentarzu znajduje się również grób brata Marszałka, Adama Piłsudskiego (1895–1935), prezydenta Wilna, a na krótko przed śmiercią senatora RP.
Do kwatery żołnierzy AK i Mauzoleum Marszałka prowadzi brama z kapliczką stylizowaną na kaplicę Matki Boskiej Ostrobramskiej. Po wojnie, w okresie radzieckim cmentarz podupadał w ruinę. Co więcej, był nawet celowo dewastowany. W owym czasie zostało zniszczonych lub uszkodzonych wiele nagrobków. „Wandale” rozbijali fotografie na grobach zmarłych, utrącali krzyże. Lecz prawdziwe zagrożenie zawisło nad nekropolią w połowie lat 80. ubiegłego stulecia, kiedy pojawiły się plany budowy obwodnicy przez terytorium cmentarza. Realizacja tych planów groziła całkowitą zagładą jednego z najstarszych w Europie cmentarzy. Tylko dzięki ostrym protestom społeczności polskiej oraz litewskiej, jak też wstawiennictwem ówczesnego Czerwonego Sztandaru (polskojęzycznej gazety, dziś Kurier Wileński) władze komunistyczne zrezygnowały z planów zaasfaltowania nekropolii na Rossie.
Cmentarz na Rossie leży na bliskich obrzeżach starego miasta. Od północy jest oddzielony od miasta torami kolejowymi, od zachodu Rasų gatvė (ul. Rossa) i wysokimi wzgórzami dzielnicy Lipówka (Liepkalnio). Od wschodu cmentarz jest podzielony Sukilėlių gatvė (ul. Listopadowa) na dwie części: Starą oraz Nową Rossę, która graniczy z niezwykle malowniczym Parkiem Regionalnym w Kolonii Wileńskiej.