Do 1580 r. w miejscu Kamienicy Cyrulika przy ulicy Piwnej 23 stał drewniany dom rzemieślników warszawskich. Wiadomo, że mieszkali tutaj najpierw bednarze, później w latach 1563-1580 piwowar Bartłomiej Jeleń, który w miejscu spalonego domu zbudował na początku XVII w. murowaną kamienicę. Z tego okresu zachowały się do dziś gotyckie relikty w piwnicach i przyziemiu.
Budynek przebudował w pierwszej połowie XVII w. jego ówczesny właściciel Jan Mróz. Kamienica liczyła wówczas dwie kondygnacje i użytkowe poddasze. W 1669 r. spłonęła i została odbudowana jako dom trzykondygnacjowy o trzyosiowej fasadzie. W drugiej połowie XVIII w. pozostawał w rękach szlacheckiej rodziny Bykowskich. Później w XIX i XX stuleciu budynek często zmieniał właścicieli.
Kamienica Cyrulika legła w gruzach w czasie powstania warszawskiego. Odbudowana została w latach 1952-1953 pod nadzorem i według projektu Elżbiety Kienitz-Trembeckiej przywracającego jej XVIII-wieczny wygląd. Zrezygnowano z odbudowy oficyn. Obecnie mieści się tutaj stylowa restauracja "Pod Herbami".