Pierwszy pałacyk w Górkach Klimontowskich powstał na początku XVII wieku, a wybudował go ówczesny wojewoda Ossoliński. Z czasem tereny te przeszły do rodziny Kalinowskich, a potem do rodziny Morsztynów. Po roku 1760 tereny te przejęła rodzina Ladóchowskich . Wtedy to Julian Ledóchowski postanowił na miejscu już istniejącego pałacyku wybodować rodową rezydencje. Do budowy zatrudnił wybitnego architekta Henryka Marconiego. Za życia Juliana Ledóchowskiego powstała tylko część pałacu i otaczający go piękny park w stylu angielskim. Po jego śmierci tereny te wraz z pałacem i parkiem nabył Stanisław Karski. Dobra pod Klimontowem wraz z tymi w Górkach Klimontowskich przekazał swojemu synowi Włodzimierzowi. Włodzimierz Karski przebudował już istniejący budynek, a następnie go rozbudował. Projektantem nowego oblicza pałacu był syn pierwszego architekta Władysław Marconi .
Pałac po przebudowie przybrał formę eklektyczną. W roku 1947 pożar strawił dach i część stropów ale zdołano te zniszczenia naprawić. Aż do lat 80-tych mieściła się tu szkoła rolnicza. Po opuszczeniu pałacu przez uczniów niestety cały kompleks popadał w coraz większa ruinę. Na szczęście w 1994 roku został sprzedany prywatnej osobie i stopniowo odzyskał dawną świetność. Niestety cały kompleks ogrodzony jest dość wysokim żelaznym ogrodzeniem i nie można go zwiedzać. Obok ogrodzenia znajdują się też ciekawe ruiny młyna który kiedyś wchodził w skład całego tego kompleksu. Zespół parkowo-pałacowy położony jest bardzo blisko Klimontowa, a najłatwiej do niego trafić idąc aż do końca najdłuższej alei kasztanowców w europie.