Pierwszy zamek w Smoleniu powstał na miejscu prehistorycznego grodziska, i był budowlą drewnianą. Został spalony w 1300 r. Wkrótce Otton z Pilczy wzniósł nowy, murowany zamek, który w 2 poł. XVI w. rozbudowano w stylu renesansowym. Pileccy opuścili zamek, przenosząc się do nowego pałacu w pobliskiej Pilicy w 1610 r., a w 1655 r. został on zniszczony w czasie potopu szwedzkiego, i nigdy już nie był odnawiany.
XIII-wieczny, kamienny, obronny zamek w Smoleniu był jedną z twierdz na tzw. Szlaku Orlich Gniazd. Składał się z zamku górnego oraz zamku dolnego w dwóch częściach - wschodniej i zachodniej. Zachowała się ostrołukowa brama wjazdowa, wschodnia część murów zamku dolnego z wysoką wieżą obserwacyjną i fragmentami murów zamku górnego, usytuowanego na cyplu skalnym. Późniejsza, zachodnia część zamku dolnego (XVI w.) jest w gorszym stanie. Zachowała się także studnia zamkowa, dziedziniec wewnętrzny oraz pozostałość po kaplicy zamkowej.
Stoki wzgórza Smoleń wraz z porastającą je roślinnością i ruinami zamku w 1959 r. zostały uznane za rezerwat krajobrazowy "Smoleń" (4,3 ha). Obejmuje on zespół buczyny karpackiej, ponad 200-letnie okazy drzew (jawora i modrzewia), a w runie występuje niezwykle cenny storczyk, obuwik pospolity.
U podnóża zamku znajduje się dworek szlachecki. Dla turystów urządzono polanę z ławeczkami, drewnianymi altankami i miejscem na ogniska i grilla.