Okazały budynek o charakterze pałacowym stojący przy ul. Zamkowej 5 należał pierwotnie do fabrykanckiej rodziny Enderów. Wzniesiony został w roku 1883 w stylu eklektycznym według planów architekta Tadeusza Markiewicza. Na początku XX w. pałac został rozbudowany i powiększony o skrzydła wschodnie i zachodnie.
W jego wnętrzu do dziś zachowały się m.in. bogate sztukaterie, kominki, piece, boazerie, żyrandole, malarstwo sufitowe. Nie zobaczymy niestety zabytkowych mebli czy dzieł sztuki które to bezpowrotnie rozkradziono z jego wnętrz po zakończeniu II wojny światowej.
Po 1918 r. w budynku znajdowała się biblioteka. Kolejni użytkownicy pałacu to: ZDK im. Konstantego Ildefonsa Gałczyńskiego (od ok. 1945 r. do 1990 r.), Urząd Rejonowy (od 1995 r.). Obecnie dawny pałac Enderów jest siedzibą Starostwa Powiatowego.