Kamienica Baryczków jest jednym z domów strony Dekerta, jednej z pierzei Rynku Starego Miasta. Dziś nosi numer 32. W XV w. budynek należał do rodziny wójta Starej Warszawy, Piotra Pielgrzyma. Rodzina Pielgrzymów-Górczewskich pozostawała właścicielami kamienicy do 1501 r., do czasu sprzedaży jej rodzinie Landekerów. Po nich budynek odziedziczył rajca miejski Jerzy Baryczka, rozpoczynając okres posiadania domu przez tę rodzinę trwający do 1683 r.
Pierwotny dom był dwukrotnie przebudowywany w latach 1509 i 1562 przed całkowitą jego modernizacją przeprowadzoną przez Wojciecha Baryczkę. To w latach 1629-1633 powstała kamienica, której wygląd możemy dzisiaj podziwiać. Budynek otrzymał późnorenesansowy wystrój, nadbudowano dodatkowe piętro, a w fasadzie umieszczono attykę, portal oraz nowe obramienia okien.
Po Baryczkach kamienica trafia na ponad sto lat do ormińskich kupców osiadłych w Warszawie, Minasowiczów (1683-1808). W połowie XIX w. jej stan był tak zły, że przeznaczona została do rozbiórki. Jednak w 1852 r. dom uratował jego ówczesny współwłaściciel, budowniczy Leon Żakowski, przeprowadzając gruntowny remont. W latach 1888-1910 kamienica pozostawała własnością rodziny Szancerów, która w 1911 r. odsprzedała ją Towarzystwu Opieki nad Zabytkami Przeszłości, które sfinansowało rozpoczętą w 1912 r. jej gruntowną renowację. Pracami tymi kierował zespół znanych warszawskich architektów Władysław Marconi, Czesław Przybylski, Teofil Wiśniewski i Jarosław Wojciechowski. We wnątrzach powstała nowa sala posiedzeń według wspólnego projektu Zdzisława Kalinowskiego, Zygmunta Kamińskiego i Jarosława Wojciechowskiego. W 1928 r. Stanisław Kazimierz Ostrowski ozdobił fasadę nowymi polichromiami. W 1937 r. budynek przejęła Gmina miasta stołecznego Warszawy z przeznaczeniem na Muzeum Dawnej Warszawy. Autorem adaptacji kamienicy do celów muzealnych był Jan Zachwatowicz.
Kamienica Baryczków spłonęła podczas walk powstańczych w 1944 r., a zrekonstruowana została w latach 1947-1950 i 1952-1953 według projektu Stanisława Żaryna na bazie ocalałych części murów i detali architektonicznych. Dziś kamienica jest częścią Muzeum m.st. Warszawy oraz Archiwum Państwowego m.st. Warszawy. Jest jedną z jedenastu zaadaptowanych na ten cel kamienic Starego Miasta.