Historia trochę zapomnianego pałacu w Podzamczu sięga połowy XVI w., kiedy Maciejowscy postanowili zbudować tutaj rodową siedzibę. Wznieśli ją w naturalnie obronnym miejscu, na wyniesieniu terenu nad rzeczką Okrzejką. W następnym stuleciu została przebudowana przez kolejnych właścicieli (Zbąskich) na pałac barokowy. W 1705 r osiedli tu Potoccy a dziewięćdziesiąt lat później – Zamoyscy.
Kolejne dziewięćdziesiąt lat później pałac odegrał znaczącą rolę podczas powstania kościuszkowskiego. Naczelnik spędził w nim noc przed bitwą maciejowicką (9 /10 października 1794), tutaj także opatrywany był z ran już jako jeniec. Budowla mocno ucierpiała od rosyjskich kul, została też później celowo przez Rosjan podpalona.
Na fundamentach starego pałacu Stanisław Zamoyski wzniósł w 1808 r. nową siedzibę. Powstała wg projektu Fryderyka Alberta Lessala, a w ściany – ku wiecznej pamiątce - wmurowano kilka kul z maciejowickiego pobojowiska (warto ich poszukać). Obecny kształt pochodzi z II połowy XIX w. Przeprowadzono wówczas przebudowę w oparciu o projekt Ksawerego Dionizego Makowskiego.
Równolegle z odbudową pałacu Stanisław Kostka Zamoyski założył obok park krajobrazowy. Światłych rad udzielał mu „Pani na Puławach”, czyli Izabela z Flemingów Czartoryska (prywatnie – teściowa Stanisława). Do dziś zachowały się tu kilkusetletnie okazy pomnikowych drzew i fragmenty tzw. „romantycznych ruin”. Zdarza się, że niewtajemniczeni turyści biorą je za ruiny zamku.
Na mocy powojennej reformy rolnej majątek Zamoyskich przejęty został przez Gospodarstwo Ogrodnicze i PGR, które zlikwidowano w latach 90. XX wieku. Obecnie pałac jest własnością gminy i… od dłuższego czasu oczekuje na remont. Krążą słuchy, że wzbudził zainteresowanie spadkobierców byłych właścicieli (ale może to tylko plotki). Odrestaurowana pałacowa oficyna jest dziś własnością garwolińskiego nadleśnictwa. Funkcjonuje w niej Izba Przyrodniczo - Leśna im. Jana Pawła II. W pobliżu rośnie dąb Jana Pawła II – jeden z wielu wyhodowanych z zebranych w 2003 r. żołędzi dębu „Chrobry”, poświęconych później przez ojca świętego. Ten nosi numer 489.
W pobliżu pałacu znaleźć można pamiątkowe kamienie poświęcone Tadeuszowi Kościuszce.
Ciekawostka.
Dzisiaj mało kto o tym pamięta, że Podzamcze z przełomu XIX i XX w. było prawdziwą chlubą polskiego ogrodnictwa. Od 1812 r. funkcjonowała w majątku „szkoła parobcza” kształcąca chłopskich synów na nowoczesnych rolników w oparciu o maszyny rolnicze produkowane we własnej manufakturze. Równolegle rozwijała się szkółka drzew. Do prawdziwego rozkwitu doprowadził ją Feliks Rożyński, od 1885 r. zatrudniony w charakterze administratora. W ciągu 30 lat jego pracy podzamecka szkółka drzew i krzewów urosła do roli największej nie tylko w Polsce ale i w całym Cesarstwie Rosyjskim. Do dziś zachowały się cenniki i katalogi wystaw (pierwszy z 1815 r.) Sam Rożyński wyselekcjonował tutaj 60 nowych odmian a przez wszystkie lata funkcjonowania szkółki sprzedano ponad 230 milionów roślin (niektóre aż za Bajkał!) – tak przynajmniej wynika z dokumentacji.