Kaplica pw. św. Krzyża znajduje się przy ulicy Starowiejskiej 9. Została wzniesiona z inicjatywy księżnej Aleksandry Ogińskiej w 1791 r. według projektu Zygmunta Vogla. W 1798 r. w kaplicy zostało pochowane ciało fundatorki.
Kaplica została wybudowana na podstawie ośmioboku z kolumnami toskańskimi, a dach został pokryty kopułą z ażurową latarnią. Na głównych drzwiach wejściowych znajduje się XVIII-wieczna kołatka o kształcie lwich głów, a nad drzwiami bocznymi inicjały księżnej Aleksandry Ogińskiej.