Pałac został wybudowany na początku XIX w. przez Karola Kotarskiego herbu Pniejnia, prawdopodobnie w miejscu wcześniejszego dworu. Początkowo była to tylko środkowa, parterowa część z arkadową loggią od strony południowej i ryzalitem od północy. Pałac został przebudowany przez syna Stanisława, pod kierunkiem architekta Filipa Pokutyńskiego. Miało to miejsce w 3 ćw. XIX w., po rabacji chłopskiej, podczas której zamordowany został Karol Kotarski. Wtedy to zostały dobudowane boczne skrzydła pałacu. Po śmierci Stanisława Kotarskiego właścicielką majątku została jego córka Helena, wówczas już żona hrabiego Mariana Łosia. Oboje zamieszkali w pałacu.
Wybuch II wojny światowej rozpoczął proces niszczenia pałacu. Majątek został uszczuplony przez rabunki i rekwizycje. Hrabia Łoś zmarł w 1940 r. Po wojnie majątek został znacjonalizowany i częściowo rozparcelowany. Dzięki wstawiennictwu mieszkańców Brzysk, pozwolono pozostać w pałacu ówczesnej właścicielce, Helenie Łosiowej przydzielając jej dwa pokoje. W czasach powojennych pałac wielokrotnie zmieniał swoje przeznaczenie. Były tam szkoła podstawowa, sklepy GS, klubokawiarnia, ośrodek zdrowia, urząd pocztowy, posterunek MO, przedszkole i urząd gminy. Wielokrotne zmiany użytkowników doprowadziły do zatarcia pierwotnego układu pomieszczeń w pałacu.
Obecnie pałac będący w posiadaniu Urzędu Gminy Brzyska jest opuszczony i zdewastowany. Dewastacji uległ też pierwotny park otaczający pałac. Do dnia dzisiejszego zachowały się tylko jego fragmenty. W 1968 roku pałac został wpisany do rejestru zabytków. Na stronie Wojewódzkiego Konserwatora Zabytków pałac figuruje jako obiekt do zagospodarowania.
Losy rodziny Kotarskich w Brzyskach tak zostały opisane w tygodniku Niedziela: „W miejscowości Brzyska k. Jasła znajdujemy wzniesiony w latach trzydziestych XIX wieku przez rodzinę Kotarskich zniszczony dworek. Właściciel dworu Karol Kotarski, zwany przez miejscowych chłopów ojcem, był szanowanym i lubianym człowiekiem. Organizował u siebie we dworze darmową edukację dla okolicznych dzieciaków, powierzając to zadanie swojemu organiście. Niestety, nie wszyscy docenili filantropijną działalność dziedzica: został zamordowany w jednej z karczm podczas rabacji galicyjskiej w 1846 r. z rąk rozjuszonych chłopów. Kiedy „włości brzyskie” przejął jego syn Stanisław (marszałek jasielskiej Rady Powiatowej), ożenił się z piękną Julią Wojnarowską. Niestety, młodziutka żona zmarła w wieku 27 lat. Zdążyła dać Stanisławowi córeczkę, Helenkę. Dla niej zdruzgotany mąż wystawił piękną kaplicę grobową na miejscowym cmentarzu.
Helenka wyszła dobrze za mąż... została hrabianką; wybrańcem jej serca został hrabia Marian Łoś. Hrabiostwo było chwalone przez okoliczną ludność; Łoś oferował chłopom łany pól na bardzo korzystnych warunkach. Opowiadano, jak hrabiostwo jadąc do miejscowego kościoła, rzucali dziatwie pieniążki i cukierki. Niestety, w czasie rozpoczynającej się wojny zamordowana została przez Ukraińców jedna z córek państwa Łosiów. Wkrótce, niecały rok po jej śmierci, w 1940 r. zmarł hrabia, pozostawiając majątek swojej żonie.
Kiedy przyszło nowe, na bagnetach Armii Czerwonej, miejscowa ludność nie pozwoliła wyrzucić z dworu starej hrabiny. Zmarła pięć lat po zakończeniu wojny, na rękach swojego stangreta. Spoczęła w rodowej kaplicy wystawionej jeszcze dla jej młodziutkiej mamy, a jej obecny na pogrzebie syn, kiedy trumna matki spoczęła już w podziemiach, zaryglował drzwi kaplicy, a klucze wyrzucił, kończąc symbolicznie dzieje rodu Kotarskich na jasielskiej ziemi.”