Pierwsze wzmianki o wsi Szołdry pochodzą z 1399 roku. Wówczas jej właścicielami była rodzina Szołdrskich i posiadała miejscowe dobra aż do XVIII wieku. Później majątek przeszedł w ręce Wilczyńskich i Zakrzewskich. W XIX wieku dobra szołdrskie kupił gen. Dezydery Chłapowski i pozostały one własnością jego następców do 1939 roku.
Dla Zakrzewskich powstał w połowie XVIII w. późnobarokowy dwór otoczony 10,5-hektarowym parkiem krajobrazowym. Budynek przebudowano około połowy XIX wieku, dodając najpierw dwa ryzality boczne, a w drugiej połowie tego samego stulecia dobudowano ryzalit środkowy. Po II wojnie majątek znacjonalizowano, a zabytkowy dwór ulegał stopniowej degradacji. Na przełomie XX i XXI wieku rozpoczęto jego remont, który ciągnie się do dzisiaj.