Zatory, choć wokół były posiadłości biskupów płockich, były własnością książęcą. W 1436 r. książęta mazowieccy podarowali wieś Michałowi z Ziemięcic, podkomorzemu warszawskiemu. Wymienianie kolejnych właścicieli zajełoby sporo miejsca.
Pierwszą rezydencję wzniósł tu w drugiej połowie XVIII w. wojewoda płocki Teodor Szydłowski lub jego syn i następca, Antoni, kanonik gnieżnieński. Był to dwór stanowiący część środkową obecnej budowli. W XIX w. dwór powiększono o piętrowe pawilony od południa i północy. Ten drugi jest dłuższy i tworzy boczne skrzydło. W 1898 r., gdy właścicielem Zator był Józef Iżycki, pałacowi dodano czterokolumnowy, toskański portyk i nowe, mansardowe dachy. Autorem przebudowy był Kornel Gabrielski.
Po I wojnie światowej palac był zdewastowany i uszkodzony. Został odrestaurowany dopiero w 1925 r. przez ostatniego przedwojennego właściciela Piotra Bagniewskiego. Stworzył on w Zatorach wzorcowe gospodarstwo rolne, które było prezentowane specjalistycznym wycieczkom z kraju i zagranicy. Po II wojnie światowej budowlę przejęło Państwowe Gospodarstwo Rolne, doprowadzając ją do ruiny - ruiny "opiewanej" w serialu "Zmiennicy".
Obecnie pałac jest w odbudowie.