Pałac wzniesiono dla Radziwiłłów według projektu Tylmana z Gameren w stylu barokowym. Budynek przebudowano w latach 1824-28 dla gen. Ludwika M. Paca. Projektantem nowej klasycystycznej bryły był Henryk Marconi. Wart Pac pałaca – tak podobno powiedział król Jan Kazimierz, gdy zobaczył pałac będący własnością odległego przodka Ludwika Paca. Pałac, wybudowany w Jeźnie pod Kownem, należał do budynków zachwycająco pięknych. Tradycja budowy tak ozdobnych siedzib była widocznie w rodzinie Paców głęboko zakorzeniona, bo i Michał Ludwik wystawił sobie na Suwalszczyźnie (w Dowspudzie) okazałą rezydencję. Warszawski pałac nie od razu jednak do Ludwika należał i nie na jego życzenie został wzniesiony. Michał Ludwik był ostatnim przedstawicielem wielkiego kiedyś polsko-litewskiego rodu. Generał, senator, żołnierz Powstania Listopadowego, bardzo zasłużony w walkach pod Ostrołęką. Urodził się w Strasbourgu, zmarł zaś w tureckim Izmirze. Między jego przyjściem na świat a odejściem upłynęło zaledwie 56 lat. Kiedy przebrzmiały echa napoleońskich wojen, Pac kupił od Radziwiłłów mocno już wtedy zdewastowany pałac. Przeprowadził remont, dokonał poprawek i cieszył się, że znowu pałac stał się wart Paca.
Burzliwe były losy gmachu w ciągu całej jego historii istnienia. Jego pierwszym właścicielem był Michał Radziwiłł (a warto wspomnieć, iż Miodowa była w XVI i XVII wieku ulicą, na której Radziwiłłowie wznosili swoje rodowe siedziby). Jego wnuka Marcina dotknęła ciężka choroba psychiczna, stał się groźny dla otoczenia. Pozbawiony więc został wszelkich praw i zamknięty w lochu. Wcześniej jednak udało mu się sprzedać pałac Andrzejowi Za łuskiemu. Biskup Załuski, jako wielki znawca sztuki do prac przy pałacu zatrudnił Tylmana z Gameren i Jakuba Fontanę – najsławniejszych wówczas w Polsce architektów. W kolejnych latach budynek przechodził wielokrotnie z rąk do rąk. Radziwiłłowie sprzedawali go, znów odkupywali i znów sprzedawali. Za każdym razem był przebudowywany i tracił na wdzięku.
W czasie Insurekcji pod wodzą Kościuszki roku 1794, pałac Radziwiłłów bardzo ucierpiał. Odłamki trafiały w ściany i dach, zostawiając głębokie otwory. Te wielkie straty później wydawały się nieznaczne wobec zniszczeń, jakie nastąpiły na początku XIX wieku. Wtedy w pałacu umieszczono lazaret, koszary austriackie, odwach, kantyny i rozmaite wojskowe osobliwości. Znajdował się więc w bardzo złym stanie, kiedy w roku 1823 kupił go Michał Ludwik Pac. Przebudowę gmachu zlecił Henrykowi Marconiemu – mimo, że zdawał sobie sprawę z tego, iż hipoteka budynku była obciążona, a kiesa generała pusta. Warto w tym momencie wspomnieć, że Pac – w patriotycznym geście – większość swoich zasobów ofiarował powstańczemu wojsku.
W roku 1835 Ludwik Pac odmówił przyjęcia amnestii z rąk Imperatora, a car ofiarowywał „przebaczenie” wszystkim, którzy brali udział w Powstaniu Listopadowym, a po jego upadku wyemigrowali z Polski. Wśród nich był także Ludwik Pac. Jego zdecydowana odmowa tak rozsierdziła car Mikołaja, że nakazał konfiskatę majątku generała, zabór pałacu i wszelkiego mienia. Cenne dzieła sztuki zgromadzone w rezydencji przewieziono do Moskwy i Petersburga. Sam pałac rozparcelowano i wynajęto rozmaitym przedsiębiorstwom, czerpiąc z tego spore zyski.
Pałac szybko chylił się ku upadkowi. W roku 1848 wystawiono go na licytacji. Przypadł Skarbowi Królestwa Polskiego, który ulokował w nim Rząd Guberni Warszawskiej oraz Sąd Okręgowy. Obie te instytucje nie zdawały sobie sprawy, w jak znakomitym miejscu osiadły. Częste remonty, przeprowadzki, zmiany i przebudowy zniszczyły zabytkowe wnętrze. Dochodziło nawet do aktów takiego wandalizmu, że wybijano dziurę, nie bacząc, że po drugiej stronie znajduje się cenny obraz, gwóźdź przechodził i przez ścianę i przez obraz. W czasie działań wojennych i Powstania Warszawskiego (w tym rejonie miasta toczyły się bardzo zacięte walki) pałac został zburzony. Zwaliło się sklepienie Sali Kolumnowej, ofiarą zniszczeń padło wiele pomieszczeń, w tym wybrednie piękna Sala Mauretańska, ozdobiona cytatami z Koranu. Po wojnie pałac Paca nie odzyskał już dawnego piękna. Odbudowano go jednak bardzo solidnie i przekazano Ministerstwu Zdrowia, które po dziś dzień ma tu swoją siedzibę.