Znajdujący się przy ul. Senatorskiej 37 budynek postawiony został w 1817 r., by już po 50 latach (1866-68) zostać gruntownie przebudowanym w stylu neorenesansowym wg projektu Juliana Ankiewicza. Mieścił się tu księgozbiór dawnej Akademii założonej w 1594 r. w Zamościu przez kanclerza Jana Zamoyskiego i powiększany przez następnych ordynatów.
Po likwidacji Akademii w 1784 r. księgozbiór został przewieziony do Warszawy, a następnie uporządkowany i udostępniony do badań naukowych. Bibliotekarzami byli tu wybitni uczeni: Józef Przyborowski i Tadeusz Korzon. Pracował tu także Stefan Żeromski.
We wrześniu 1939 r. budynek wraz z księgozbiorem spłonął. Odbudowany po wojnie, nie pełnił już niestety funkcji bibliotecznych, ale podobnie jak cały pałac, przeznaczony został na biura.