Na rogu ulic Kolumny i Rzgowskiej stoi pamiątkowa kapliczka. Na jej cokole widnieje napis: "Na pamiątkę lat wojny 1939-1945 i za doznaną opiekę Boską i Matki Bożej Nieustającej Pomocy S.J.S.".
Pierwotnie w miejscu tym do roku 1939 znajdowała się (zniszczona przez hitlerowców) Kolumna Sieroca. Był to pomnik wzniesiony w roku 1634 przez Jana Mulinowicza po śmierci jego przybranego ojca, który przygarnął go z ulicy jako małego chłopca - sierotę. Jak podają stare źródła, Kolumna Sieroca stała na czworoboku o wysokości ok. 2 m wykonanym z czarnego marmuru. Na nim mieściła się smukła kolumna (szary marmur) wysoka na 8 m. Po bokach były złocone łacińskie napisy oraz historia powstania pomnika.
Warto wspomnieć, że Kolumna Sieroca powstała dziesięć lat wcześniej niż Kolumna Zygmunta w Warszawie. Nazwa ulica Kolumny pochodzi właśnie od tego pomnika.