W obrębie murów miejskich Szydłowa znajdują się pozostałości zabudowań gotycko-renesansowego zamku z czasów Kazimierza Wielkiego. Do naszych czasów zachował się budynek zamkowej bramy, skarbiec, w którym mieści się obecnie muzeum oraz ruiny murów zamku właściwego z Salą Rycerską przylegające do wyższych w tym miejscu i grubszych murów miejskich. Sala Rycerska obfituje w pozostałości świetnego niegdyś wystroju architektonicznego. Są tu widoczne resztki kamiennych obramowań okien i portali, widoczne są gniazda po drewnianych stragażach stropów, Widać zachowane resztki wątków kamienno-ceglanych murów.
Zamek został zniszczony w czasie szwedzkiego potopu i później w trakcie wojny północnej. Odbudował go w 1723 r. Józef Załuski, który to fakt jest odnotowany na kamiennej tablicy umieszczonej nad portalem budynku bramnego.