Wiśniowa koło Staszowa od końca XIII wieku,należała kolejno do:Piotra Bogorii Skotnickiego, Doroty Tarnowskiej, po niej do Mikołaja z Kurowa. Następnie przeszła w ręce rodu Jastrzębców, następnie Mikołaja z Kurozwęk,Tęczyńskich i Łaskich. Na początku XVII w. wieś przeszła we władanie Tarłów, którzy wznieśli w Wiśniowej dwór. Podobno przy projektowaniu rezydencji miał mieć swój udział sam Tylman z Gameren.
Na początku wieku XVIII pałac został przebudowany. Pod koniec XVIII wieku, właścicielem Wiśniowej zostaje starosta trześniowski - Rafał Kołłątaj. Nowy właściciel dokonał wielu zmian i przeróbek budowlanych, nadając pałacowi barokowo-klasycystyczny charakter. Pałac został poważnie uszkodzony podczas ostatniej wojny. Odbudowano go i w połowie lat 60-tych przekazano na cele oświatowe. Mieści się w nim szkoła.
Całość rezydencji otoczona jest przez park, powstały w dwóch etapach: w wieku XVIII - na osi pałacu, od południa i północy oraz w wieku XIX – na wschód od rezydencji, za lipową aleją. Najbardziej znany z Kołłątajów, Hugo, urodzony w Dederkałach Wielkich (obecnie Ukraina), a od szóstego roku życia mieszkający wraz z rodziną w pobliskich Nieciesławicach, nie był w Wiśniowej zbyt częstym gościem, ale utrzymywał z bratem Rafałem ścisły kontakt.To dzięki wsparciu Rafała Kołłątaja i bratanka Eustachego, Hugo mógł dokonać tak wielkich rzeczy.