Zamek powstał w XIV wieku w południowo-zachodnim narożniku miasta lokacyjnego na miejscu, wzmiankowanej w 1365 roku, curii – dworu królewskiego. Według Janka z Czarnkowa inwestorem budowy był król Kazimierz Wielki.
Zamek został zbudowany prawdopodobnie razem z murami miejskimi, wewnątrz ich obwodu, i z nimi też został zespolony. Był przeznaczony na rezydencję starosty królewskiego zarządzającego okolicznymi dobrami monarchy oraz okazjonalnie miejscem, w którym zatrzymywał się król podczas podróży przez kraj. Plan miasta z 1820 roku wskazuje, że zamek miał kształt prostokąta a w zachodnim narożniku zamku znajdowała się wieża.
Obecnie na miejscu prawdopodobnie całkowicie rozebranego zamku znajduje się budynek dla władz powiatowych zbudowany po 1874 roku, jednak dzisiejszy wygląd nadano mu w 1927 roku podczas przebudowy dokonanej wg projektu architekta Majewskiego w stylu renesansu polskiego, ozdabiając go attykami, historyzującym portalem i herbem Odrowąż. Obiekt w okresie II Rzeczypospolitej był siedzibą starostwa powiatowego. W latach II wojny światowej Niemcy wyburzyli zachodnią część skrzydła południowego, rozbudowując drogę w kierunku Radomia.
Od czasów II wojny światowej do lat 60. XX wieku mieścił się tu oddział zakaźny szpitala miejskiego. Od 1976 roku rozpoczęto adaptację obiektu na Muzeum Regionalne pod kierunkiem architekta J. Mackiewicza.
Żródło informacji: Wikipedia.org