Przed powstaniem budynku nazywanego Kamienicą Odźwiernego na rogu ulic Piwnej i Piekarskiej stał drewniany dom. W latach 1514-1538 należał do Jakuba Oszusta i nazywany był zwyczajowo Oszustkowskim. Przez pewien czas od 1610 r. mieszkał w nim budowniczy Zamku Królewskiego murator Jakub Rodondo. Murowaną kamienicę w tym miejscu zbudował w pierwszej połowie XVII w. odźwierny biskupa wrocławskiego Karola Ferdynanda Wazy, Mikołaj Narewski. Od funkcji pełnionej przez swojego właściciela otrzymała potoczną nazwę używaną do dziś.
Kamienica spłonęła w czasie pożaru w 1669 r. W połowie XVIII w. należała do rodziny Czempińskich, którzy prawdopodobnie byli autorami jednej z jej przebudów. W latach 1744-1768 w budynku prowadził swoją drukarnię i księgarnię Wawrzyniec Mitzler de Kolof, nadworny lekarz Augusta III. Mitzler był również wydawcą i redaktorem pierwszych polskich czasopism naukowych. Drukował dzieła polskiej literatury XVI i XVII w. oraz podręczniki szkolne.
W 1790 r. kamienica przeszła przebudowę, która nadała jej znany nam dzisiaj kształt. W czasie walk w 1944 r. zniszczona została do wysokości parteru. Ruiny rozebrano, a budynek zrekonstruowano w latach 1952-1953. Autor projektu odbudowy Kazimierz Saski obniżył kamienicę o jedną kondygnację, ale zachował dawny wygląd fasady.
W kamienicy tej przez blisko pięćdziesiąt lat mieszkał historyk i polityk Bronisław Geremek. Fakt ten uwiecznia pamiątkowa tablica wmurowana w ścianę budynku w pierwszą rocznicę śmierci profesora w 2009 r.