Powstałe na obszarze Księstwa Oświęcimskiego Państwo Żywieckie, w nim Łodygowice, w 1467r. zostało nadane dziedzicznie przez króla Kazimierza IV Jagiellończyka rodzinie Komorowskich w nagrodę za walkę z rozbójniczą z rodziną Skrzyńskich oraz zadośćuczynienie za straty poniesione podczas wspierania wyprawy Kazimierza Jagiellończyka na Węgry. Po śmierci Krzysztofa Komorowskiego majątek został podzielony między 3 jego synów. Największą część otrzymał starosta nowotarski Mikołaj nabywając prawa do powstałego państwa łodygowicko-żywieckiego.
Mikołaj Komorowski okazał się wielkim awanturnikiem i utracjuszem. Prowadząc hulaszczy tryb życia zadłużył się do tego stopnia, że musiał uciekać przed dłużnikami. W 1618 r. jako bankrut zmuszony był sprzedać posiadane państwo łodygowicko – żywieckie swojemu dworzaninowi Krzysztofowi Rorowskiemu, a ten następnie odsprzedał kasztelanowi krakowskiemu, księciu Jerzemu Zbarskiemu, w zamian za dobra na Wołyniu.
Książę Zbarski w 1629 r. , na miejscu dawnego , drewnianego dworu rozpoczyna budowę murowanej fortecy, która miała wzbudzać respekt i chronić przed ówcześnie działającymi „zbójcami” napadającymi i grabiącymi szlacheckie majątki. Niestety, nie doczekał końca budowli i w 1631r. zmarł, a po jego śmierci ukończył ją , nadając dworowi-zamkowi charakteru fortlicium, następca na „włościach” Stanisław Warszycki, mąż Heleny Wiśniowieckiej.
Dwór otoczony został wałem i murem, pośrodku miał obszerny park z okazałymi dębami i ulokowane za nim zabudowania gospodarcze. Następcy Warszyckich nadali dworowi charakter bardziej reprezentacyjny, pałacowy. Zniknęły wały, fosy przekształcono w stawy hodowlane, dobudowano oranżerię, gdzie hodowano kwiaty i południowe rośliny.
Ostatnimi właścicielami była Rodzina Klobusów. Austriacki major Adolf Klobus przebudował pałac, dobudował z jego frontu wsparty na arkadach balkon. Całość stała się reprezentacyjnym pałacem. Z jednym ze spadkobierców rodziny Klobus, Otto Klobusem, wiąże się romantyczna historia.. Zakochał się ów młodzieniec, z wzajemnością, w młodszej córce arcyksięcia Habsburga. Na jego nieszczęście na drodze mezaliansowi stanął sam arcyksiążę kategorycznie sprzeciwiając się związkowi. Zrozpaczony Otto postanowił dozgonnie zostać kawalerem i nie zawarł żadnego związku małżeńskiego mimo, że korzystał z uciech tego życia - miał dwójkę nieślubnych dzieci. Do śmierci zamieszkiwał pałac, zmarł w 1943 r. Dobra łodygowickie po jego śmierci przejął brat Klobusa, Robert, który zabrał najcenniejsze rzeczy i pozostawił posiadłość na pastwę losu.
W okresie okupacji umieszczono w nim sztab wojsk niemieckich, który kierował akcjami na Podbeskidziu. Po wojnie całe wyposażenie zostało rozkradzione i budowla zaczęła popadać w ruinę. Sytuacja uległa poprawie jak umieszczono w nim urzędy administracji państwowej oraz szkołę rolniczą.