Pierwszy zamek warowny powstał na przełomie XIII i XIV w., za panowania książąt świdnicko-jaworskich. Warownia w kształcie owalu była ważnym ogniwem w systemie obronnym piastowskiego Śląska, ponieważ strzegła granicy od strony ziemi kłodzkiej, będącej już w posiadaniu Czech. Za panowania Bolka II ziębickiego zamek był bezskutecznie oblegany przez wojska czeskie. Zniszczony został dopiero po oblężeniu przez wojska węgierskie w styczniu 1498 r. i od tego czasu nie odgrywał już większej roli.
Nowy zamek powstał na tym samym miejscy w latach 1524-1532, za rządów Karola I Podiebrada. Renesansowa budowla, zaprojektowana przez wybitnego architekta Benedykta Rejta, nie miała sobie równych na Śląsku. Zbudowana z piaskowca i kamienia na planie kwadratu, posiadała duży dziedziniec ozdobiony krużgankami. W narożnikach południowo-wschodnim i północno-zachodnim znajdowały się trzykondygnacyjne basteje artyleryjskie. W skrzydle wschodnim kwadratowa wieża bramna była początkowo ozdobiona attyką (najpierw w kształcie jaskółczych ogonów, później półkolistą) i posiadała hełm. Druga wieża z hełmem znajdowała się w skrzydle południowym, którego mury również ozdobiono półkolistą attyką.
Pod koniec XVI w. zamek wymagał już renowacji, ale odrestaurowano tylko częściowo jego wnętrza. W czasie wojny trzydziestoletniej obiekt wykorzystywano do celów militarnych. W 1632 r. był trzykrotnie szturmowany przez wojska cesarskie. Poddano go z braku żywności. W 1642 r. został zdobyty przez Szwedów, a potem odzyskany przez Austriaków i wysadzony w powietrze. Od tego czasu pozostaje w ruinie.
Obecnie oprócz dobrze zachowanych murów zewnętrznych, warto zobaczyć też wieżę bramną zwieńczoną półkolistą attyką. W południowej ścianie zamku zachowały się fragmenty starej piastowskiej budowli z XIV w., widoczne w postaci charakterystycznego wybrzuszenia. W latach 70. XX w., podczas prac porządkowych w ruinach zamku odgruzowano znaczną część piwnic. Kolejne prace porządkowo-zabezpieczające podjęto z inicjatywy Urzędu Miasta i Gminy w Ząbkowicach Śląskich latem 1994 r. Nad ich przebiegiem od początku czuwali prof. arch. Mirosław Przyłęcki i archeolog mgr Anna Kowalska. Prace te kontynuowano w kolejnych latach. Obecnie na terenie Zamku organizowana jest coroczna plenerowa impreza muzyczna - Festiwal Muzyki Folkowej FOLK-owa FIESTA.