Szydłowiecki zamek to jedna z najpiękniejszych wczesnorenesansowych rezydencji magnackich w Polsce. Została wzniesiona etapami przez właścicieli miasta, rodzinę Odrowążów (później Szydłowieckich). Należał do rodziny Szydłowieckich, następnie do Radziwiłłów.
Według dokumentów już w 1427 r. istniał w miejscu obecnego zamku kamienny budynek dworu, należącego do Jakuba i Sławka Odrowążów. W wyniku wykopalisk archeologicznych zlokalizowano też resztki starszych konstrukcji drewnianych, datowanych na XIII w.
Ze względów obronnych mury zamku wzniesiono na sztucznej wyspie w rozlewiskach rzeki Korzeniówki i otoczono fosą. Zamek powstawał etapami. Najstarszą część, tzw. "dom zamkowy" czyli dzisiejsze północne skrzydło zamku, wybudował w połowie XV w. Stanisław Szydłowiecki. W następnym etapie powstała wieża bramna, połączona murem obwodowym z budynkiem mieszkalnym. Fragmentem dawnego muru obwodowego jest zachowany do dzisiaj od strony południowej mur kurtynowy.
Po śmierci Stanisława Szydłowieckiego zamek rozbudował w modnym wtedy stylu renesansowym jego syn, Mikołaj Szydłowiecki. Dobudował on dzisiejsze skrzydło wschodnie z reprezentacyjnym wejściem. Skrzydło zachodnie, tuż obok wieży bramnej, wybudowała prawdopodobnie córka kanclerza wielkiego koronnego Krzysztofa Szydłowieckiego, Elżbieta. Poprzez jej małżeństwo z Mikołajem Krzysztofem Radziwiłłem "Czarnym" zamek przeszedł w ręce bogatej rodziny Radziwiłłów.
Radziwiłłowie zamieszkiwali stale w Nieświeżu, lecz zamek szydłowiecki wciąż rozbudowywali i upiększali. Prezentował się on okazale nie tylko z zewnątrz. Wnętrza wyposażone były w bogate portale z miejscowego piaskowca, polichromowane stropy kasetonowe, fryzy, piece z wielobarwnych kafli i ozdobne posadzki. Od 1562 r. właścicielem miasta i zamku był Mikołaj Krzysztof Radziwiłł "Sierotka", a od 1619 r. jego syn Albrycht Władysław Radziwiłł, kasztelan trocki. Współczesny wygląd zamku pochodzi właśnie z czasów "Hrabstwa Szydłowieckiego" Radziwiłłów. Zamek otoczony był rozległym parkiem, pełnym egzotycznych drzew i roślin. Od strony wschodniej urządzono także zwierzyniec z egzotycznymi zwierzętami i ptactwem.
Zamek należał następnie do kolejnych Radziwiłłów - Zygmunta Karola, Aleksandra Ludwika, Michała Kazimierza i Leona Kazimierza. Ostatnim właścicielem był Mikołaj Radziwiłł. Po jego bezpotomnej śmierci zamek sprzedano Annie z Zamoyskich Sapieżynie. Ta z kolei w 1828 r. odsprzedała go razem ze wszystkimi dobrami szydłowieckim rządowi Królestwa Polskiego. Zamek zamieszkany był do lat 40. XIX w. Uległ znacznej degradacji, kiedy trafił w ręce rodziny Engemanów, użytkujących go jako browar. W czasie II wojny światowej mieszkali w nim uchodźcy z ówczesnych terenów III Rzeszy (dzisiejsze Oborniki), następnie okupanci utworzyli tu getto dla ludności żydowskiej, którą po likwidacji getta przewieziono do obozu koncentracyjnego w Treblince.
W latach 1949-1958 przeprowadzono na terenie zabytkowego zamku badania archeologiczne, a w latach 60. XX w. gruntowne prace remontowe. Zamek jest znakomitym przykładem zastosowania miejscowego kamienia - piaskowca szydłowieckiego, z którego powstały nie tylko mury, lecz także wiele ozdobnych detali, jak schody, kolumny, filary, balustrady, portale i kominki. Na uwagę zasługuje kamienny portal nad wejściem do biblioteki z herbami Radziwiłłów.
W zamku mają swoją siedzibę: "Szydłowieckie Centrum Kultury - Zamek", kawiarnia, Muzeum Ludowych Instrumentów Muzycznych i Biblioteka Publiczna. Na dziedzińcu zamkowym odbywają się koncerty, spotkania kulturalne, a także turnieje bractw rycerskich. Szydłowiecki zamek jest jedną z największych atrakcji południowej części województwa mazowieckiego, którą warto zabaczyć podczas weekendowych podróży rodzinnych.