Ród Borków lub von Borcke związany był z Zajezierzem od czasów średniowiecza, gdy ziemie te należały do Księstwa Pomorskiego. Protoplasta rodu, żyjący na początku poprzedniego tysiąclecia Borko I, był prawdopodobnie słowiańskim możnowładcą służącym książętom pomorskim.
W średniowieczu Borkowie wybudowali w Zajezierzu zamek zastąpiony w XVII w. okazałym renesansowym dworem, którego właścicielami byli do roku 1778. Kolejnymi posiadaczami pałacu byli Rosenberg-Gruszczyńscy. Na początku XIX w. dwór został rozbudowany do obecnej renesansowo-barokowej rezydencji. Trójkondygnacyjny pałac zbudowany jest na planie litery C. Przed wejściem znajduje się dziedziniec honorowy.
Po II Wojnie Światowej aż do roku 2007 w pałacu znajdował się ośrodek dla dzieci upośledzonych. Po 2008 r. pałac został wystawiony przez starostwo powiatowe na sprzedaż za kwotę ok. 650 tys. zł. Obok pałacu znajduje się park krajobrazowy i sztuczne jezioro. W 2018 r. zarówno pałac jak i otaczający go teren był bardzo zaniedbany.