Zamek wybudowany przez Kazimierza Wielkiego w obrębie murów był gotycką budowlą z czerwonej cegły o niewielkim znaczeniu militarnym. Pełnił funkcję rezydencji wędrującego dworu królewskiego oraz był siedzibą radomskiego starosty. Gościł koronowane głowy, cudzoziemskich posłów. Na co dzień działał w nim sąd grodzki, a okazjonalnie odbywały się sesje sądu ziemskiego, kapturowego oraz Trybunału Skarbowego.
Usytuowany był w południowo–wschodniej części miasta, w pobliżu kościoła pw. św. Jana Chrzciciela. Główny budynek stanowił tzw. „dom wielki”. Przylegał on bezpośrednio do murów miejskich. Pełnił funkcje rezydencji mieszkalnej. Na piętrze znajdowała się okazała sala, której wszystkie ściany miały okna. W komnatach były marmurowe kominki i polewane piece, przejścia zdobiły liczne portale. Z prawej strony (w części północno-zachodniej) wystawiono budynek piętrowy zwany „budynkiem wedle bramy” mieszczący na parterze kuchnię, piekarnię i składy żywności. Piętro zajmowała izba jadalna oraz pomieszczenia mieszkalne prawdopodobnie przeznaczone dla starosty, podstarościego i burgrabiego. Oba budynki połączone były ze sobą krytym gankiem. Pomiędzy nimi stała wieża biała, w której trzymano złoczyńców pochodzących z gminu, dalej zaś druga wieża dla więźniów szlacheckiego pochodzenia. Wejście do zamku prowadziło przez bramę od strony ulicy Grodzkiej.
Cały zespół zamkowy otaczał mur, w którym znajdowała się zabezpieczana furta. Przez nią wychodziło się do ogrodu, łaźni i browaru zamkowego, usytuowanych poza murami. W czasach Jagiellonów zamek został przebudowany w stylu renesansowym. Prace te w latach 1510-1515 przeprowadził Mikołaj Szydłowiecki, ówczesny kasztelan radomski. W efekcie główny budynek otrzymał reprezentacyjne schody, attykę i taras. W okresie potopu szwedzkiego Radom dwukrotnie zniszczono. Zdewastowano również zamek. Od tego czasu, mimo prób odbudowy, zespół zamkowy nie reprezentował już takich walorów, jak w epoce jagiellońskiej. W 1787 r. starosta radomski Aleksander Potkański przebudował „dom wielki” nadając mu parterową formę nawiązującą do szlacheckich dworów wiejskich. Mieściły się w nim kancelaria miejska i kasa. Pod koniec XVIII w. budynek zajęła administracja austriacka. Wówczas rozebrano wieżę i mur oddzielający zamek od zabudowań miejskich. W 1863 roku pozostałości zamku przekazano dozorowi kościelnemu parafii Radom. Od tego czasu do chwili obecnej mieszka tu proboszcz parafii św. Jana Chrzciciela.
Na przełomie XVIII i XIX w. liczne zmiany nastąpiły również w wyglądzie i funkcji „domu wedle bramy”, nazywanego również „kamienicą starościńską”. Mieściła się w nim szwalnia garnizonowa, a w latach 1829-1835 (z kilkuletnią przerwą) fabryka wyrobów półbawełnianych Selimy Blocha. W 1845 r. budynek przejęła Komisja Rządowa Spraw Wewnętrznych, Duchownych i Oświecenia Publicznego. Przed wybuchem II wojny światowej umieszczono tu dom dziecka, a następnie pogotowie opiekuńcze. W latach 2007-2012 przeprowadzono generalną modernizację „kamienicy starościńskiej”. W piwnicach utworzono wystawę eksponującą część znalezisk odkrytych w czasie badań archeologicznych prowadzonych równolegle z remontem. Podjęto również próbę zrekonstruowania wyglądu zamku czego efektem jest makieta wykonana z brązu. Można ją oglądać od strony ul. Grodzkiej, na dawnym dziedzińcu zamkowym.
Najważniejsze z nich to m.in.:
1383 r. podpisanie układu, na mocy którego dokonano elekcji Jadwigi Andegaweńskiej na króla Polski.
1401 r. podpisanie aktu unii wileńsko-radomskiej, na mocy której król Władysław Jagiełło z dynastii Giedyminowiczów oddał władzę na Litwie Wielkiemu Księciu Witoldowi, ale tylko do końca jego życia, po czym miała ona wrócić w ręce króla Polski lub jego spadkobierców. Podjęto także decyzję, że Polska nie będzie wybierała króla bez zgody Litwy, a szlachta zachowa swoje prawa, przywileje i swobody.
1469 – przyjęcie posłów czeskich proszących o objęcie tronu ich królestwa przez Władysława Jagiellończyka.
1474 – ogłoszenie zaręczyn królewny Jadwigi Jagiellonki z następcą tronu Bawarii Jerzym Wittelsbachem zwanym Bogatym.
1481-1483 r. rządy Kazimierza Jagiellończyka królewicza, który pod nieobecność ojca przebywał na zamku radomskim i przez około dwa lata rządził Polską. Zmarł w 1484 r., kanonizowany w 1521 r., patron miasta Radomia od 1983 roku.
1489 r. Wielki Mistrz Krzyżacki Jan von Tieffen złożył hołd lenny z państwa krzyżackiego na ręce króla Kazimierza Jagiellończyka.
1505 r. obrady Sejmu Wielkiego, w wyniku których uchwalono konstytucję "Nihil novi" orzekającą, że królowi nie wolno nic postanowić bez zgody senatu i posłów szlacheckich (nic o nas bez nas).
1548 r. uroczyste powitanie Barbary Radziwiłłówny przez Zygmunta Augusta.
1614 r. – pierwsza sesja Koronnego Trybunału Skarbowego (zwanego radomskim) – zbierającego się zazwyczaj na zamku w Radomiu do 1764 r.
1655-1656 r. – okupacja szwedzka i zniszczenie zamku.
1787 r. - przebudowa zamku przez starostę Aleksandra Potkańskiego.
1551 r. przez Radom przeszedł kondukt żałobny, który z Krakowa do Wilna przewoził ciało królowej Barbary Radziwiłłówny.
1572 r. w mieście zlokalizowano Sąd Kapturowy, który sądził ciężkie przestępstwa kryminalne w okresie bezkrólewia na terenie powiatów: chęcińskiego, opoczyńskiego, radomskiego i stężyckiego. Działał do 1764 roku.
1767 r. konfederacja radomska pod laską księcia Karola Radziwiłła skierowana przeciwko reformom Stanisława Augusta Poniatowskiego.