W pobliżu ostrowskiej konkatedry znajduje się zespół plebanii parafii św. Stanisława Biskupa Męczennika, na który składają się jej budynek, park-ogród oraz grota Matki Boskiej. Plebania powstała w 1906 r. w stylu neogotyckim z czerwonej cegły, z charakterystycznymi elementami z białego tynku.
Stojąca przy wjeździe na teren ogrodu murowana, z czerwonej cegły grota Matki Boskiej zbudowana została w latach 1928-1933. W jej szczycie umieszczono kartusz z napisem "Jam jest Niepokalane Poczęcie".