Pierwotnie w XV wieku pod numerem 4 przy ulicy Jezuickiej stała gotycka kamienica. Świadczą o tym zachowane piwnice ze sklepieniem beczkowym. Budynek uległ zniszczeniu w czasie potopu szwedzkiego i został odbudowany w dobie baroku około 1775 r.
O ile przez wieki nie zmieniał się jego wygląd, to właściciele kamienicy zmieniali się wielokrotnie. W połowie XIX wieku właścicielami była rodzina Adlerów, w tym Fryderyk Wilhelm - projektant kościoła św. Apostołów Piotra i Pawła stojącego na dzisiejszym Placu Wolności.
Od 1885 r. w domu mieściła się niemiecka Kasa Pożyczkowa. Kamienica poddana została gruntownemu remontowi w latach 1967-1969 według projektu arch. Stefana Klajbora. Od 1969 r. znajduje się tutaj siedziba Bydgoskiego Towarzystwa Naukowego, a od niedawna również Towarzystwa Miłośników Miasta Bydgoszczy.