Zbudowany został w 1593 r. dla biskupa płockiego Wojciecha Baranowskiego, który po objęciu w 1608 r. arcybiskupstwa gnieźnieńskiego i tym samym godności prymasowskiej zapisał go w kapitule gnieźnieńskiej z przeznaczeniem na rezydencję prymasów w Warszawie. W 1690 r. dla kardynała Michała Radziejowskiego, będący do tego czasu dworem budynek, przekształcił w pałac Tylman z Gameren.
Po gruntownej przebudowie w drugiej połowie wieku XVIII przeprowadzonej pod kierunkiem Efraima Schroegera dla prymasa Antoniego Ostrowskiego, uzyskał on swój obecny klasycystyczny wygląd. W czasach prymasa Michała Poniatowskiego był jednym z głównych ośrodków życia umysłowego i kulturalnego Warszawy. Bogaty wystrój wnętrz (częściowo zachowany do dzisiaj) jest dziełem Szymona Bogumiła Zuga, Jana Chrystiana Kamsetzera oraz Antoniego Graffa (sztukaterie, częściowo zrekonstruowane).
Na szczególną uwagę zasługuje kolumnowa Sala Balowa. W 1813 r. pałac przeszedł na własność rządową. W czasach Królestwa Polskiego mieściła się tu Komisja Rządowa Wojny, potem Szkoła Kadetów. W okresie 20-lecia międzywojennego – Ministerstwo Rolnictwa. Obecnie mają w nim swoją siedzibę instytucje związane z Ministerstwem Kultury i Sztuki.
Dawny pałac Prymasowski w obecnym swoim wyglądzie to budynek klasycystyczny, piętrowy, z mansardami, na planie prostokąta, ze wspaniałym kolumnowym portykiem i skrzydłami w formie ćwierćkolistych galerii zakończonych dwupiętrowymi pawilonami. Odbudowany został ze zniszczeń wojennych w kształcie, który uzyskał po kolejnych przebudowach zakończonych w 1789 r.