Niewątpliwym rarytasem wśród zabytków wileńskiej starówki jest cerkiew św. Paraskiewy, nazywana także cerkwią Piatnicką. Znajduje się przy Didžioji gatvė 2 (ul. Wielka). W okresie przedwojennym był to Rynek Rybny. Cerkiew zbudowano tu około 1345 roku dla prawosławnej żony księcia Olgierda. Świątynia ta była prawdopodobnie pierwszym murowanym budynkiem w Wilna.
W 1611 roku przekazano ją unitom i z biegiem czasu świątynia popadłą w ruinę. Odnowiono ją dopiero w 1864 r. na rozkaz generał-gubernatora wileńskiego Michaiła Murawiewa (Wieszatiela). Dziś w cerkwi znajduje się galeria sztuki, ale też są czynione starania, by została przekazana wiernym. Architektura cerkwi, ani też jej wystrój wewnątrz niczym specjalnym nie wyróżnia się.
Według miejscowej legendy, w 1708 r. car ochrzcił w tej świątyni Murzyna o imieniu Hannibal, który był uważany za dziadka Aleksandra Puszkina. Hannibal był prawdopodobnie niewolnikiem tureckim i na Litwę trafił jako dar sułtana tureckiego dla Piotra I Wielkiego. Epizod ten potwierdza umieszczona na zewnątrz tablica z opisem wydarzeń sprzed wieków.