Przy wjeździe do Suwałk od strony Augustowa, na terenie byłych koszar wojska rosyjskiego - po lewej stronie ulicy Wojska Polskiego znajduje się zabytkowy kościół wybudowany w 1900 roku jako cerkiew garnizonowa 5. Brygady Strzeleckiej p.w. Aleksandra Newskiego. Reprezentowała styl rusko bizantyjski, a przeznaczona była na potrzeby wojska carskiego. Świątynię zdobiła potężna wieża zwieńczona kopułą oraz podobne, mniejsze wieżyczki nad prezbiterium.
Po odzyskaniu przez Polskę niepodległości w 1918 r. została adaptowana na katolicki kościół garnizonowy. Zaopiekowała się nią parafia św. Aleksandra. Usunięto wówczas kilka kopuł pozostawiając tylko dwie jako wieże nad wejściem głównym. Wnętrze kościoła dostosowano do liturgii rzymsko-katolickiej i w 1923 roku oddano świątynię na potrzeby duszpasterstwa wojskowego. Rolę tę pełniła aż do 1939 roku.
Podczas II wojny światowej, w czasie okupacji niemieckiej z kościoła korzystali katolicy niemieccy mieszkający wówczas w Suwałkach. W 1944 roku wycofująca się armia niemiecka zdetonowała ładunek wybuchowy we frontowej części kościoła. Poważnemu zniszczeniu uległa wieża, dach, okna i drzwi. Pozostałe, ocalałe we wnętrzu rzeczy przewieziono do Becejł.
Wstępnemu remontowi kościół poddano w 1957 r., a kolejnie – w grudniu 1958 r. wyświęcono. Wnętrze wyremontował w 1959 roku rektor kościoła ks. Kazimierz Hamerszmit, który za fundusze odszkodowania obozowego ufundował 15-to głosowe organy oraz witraże patronów świątyni w prezbiterium. Pozostałe witraże ufundowali parafianie. Samodzielny ośrodek duszpasterski erygowano tu w 1970 roku, a 9 lutego 1979 roku powołano parafię św. Apostołów Piotra i Pawła.
W 1980 rozpoczęto budowę plebanii i budynków gospodarczych, natomiast w latach 1998-1999 wzniesiono dwie wieże, które nadały charakteru i uroku tej zabytkowej świątyni.