Zespół klasztorny franciszkanów to ciekawe miejsce. Powstał w 2 poł. XIV w. Został ufundowany przez Kazimierza Wielkiego w 1368 r. Kościół zbudowany jest z kamienia łamanego, w stylu gotyckim. Cały dziedziniec otoczony jest budynkami oraz XVII-wiecznym murem kamiennym.
W 1465 r., podobnie jak miasto, kościół uległ zniszczeniu w wyniku pożaru. W latach 1581-1603 świątynia, będąc we władaniu innowierców, została poważnie zdewastowana. Po odbudowie przez starostę Stanisława Branickiego klasztor został ponownie zniszczony przez żołnierzy Franciszka Rakoczego, którzy, plądrując klasztor w poszukiwaniu skarbów, zamordowali trzech mnichów, o czym przypomina marmurowa tablica.
Kolejnym trudnym okresem było wypędzenie zakonników za panowania Aleksandra I. Klasztor przeznaczono wówczas na jedno z najcięższych więzień w Górach Świętokrzyskich. W późniejszym okresie działała tu kolejno szkoła kamieniarska, zakłady mięsne, warsztaty tkackie, łaźnia miejska, schronisko PTTK. W latach 60. XX w. zespół odrestaurowano i zaadaptowano na cele turystyczne: w kościele mieściła się restauracja wraz z hotelem. Mimo ustawicznych protestów, kierowanych do ówczesnych władz partyjnych i państwowych, stan taki trwał aż 19 lat. W 1991 r. klasztor po wielu latach ponownie przejęli franciszkanie.