Drewniano-ziemny gród powstał w tym miejscu za panowania Bolesława Chrobrego. Książę Bolesław Krzywousty podniósł jego rangę ustanawiając kasztelanię, która w bulli papieża Hadriana I wymieniana jest jako Castrum Valan. Gródek ten stał się zalążkiem miasta Wleń a funkcję obronną przejął zamek.
W XII wieku na wzgórzu wybudowana została kamienna, sześcioboczna wieża, palatium i kaplica, całość otaczał kamienny mur obronny. W XIII wieku zamek został rozbudowany. Wieży nadano kolisty kształt o 3 metrowej grubości murów a obecna jej wysokość wynosi 12 metrów, prawdopodobnie była wyższa a jej zwieńczeniem była nadbudowa drewniana. Zamek był ulubionym miejscem pobytu księcia Henryka I Brodatego i jego małżonki księżnej Jadwigi (późniejszej świętej kanonizowanej w roku 1267).
Wnuk tej pary książęcej Bolesław Rogatka z zamku urządził swoiste więzienie. Przetrzymywany był tutaj biskup wrocławski Tomasz I z Rawiczów a w kilka lat później bratanek księcia, pretendent do tronu króla Polski, książę Henryk IV Probus. Z końcem XIV wieku zamek przeszedł we władanie rycerzy von Zedlitz. Ci zamek rozbudowali, a następcy z tego rodu zamienili go w rozbójniczą siedzibę. W czasie wojny trzydziestoletniej zamek został spalony.
Zamek leży na Szlaku Zamków Piastowskich.