W XIV i XV w. Karpień był centrum państewka obejmującego obszar doliny górnej Białej Lądeckiej i jej dopływów - powyżej Radochowa. Zniszczony w czasie wojen husyckich, stał się siedzibą rycerzy rabusiów.
Czasy, w których powstał w tym miejscu pierwszy gród obronny a następnie zamek, giną w pomroce dziejów. Te przeszły do legend :
- o Chorwatach z IX wieku wędrujących po Europie, którzy to miejsce sobie upodobali o Bolesławie Chrobrym, który to miejsce ufortyfikował dla swoich wojów przed wyprawą na Czechy w roku 1003
- o Bolesławie Śmiałym, który przed wyprawą na Czechy ... ?
W XIV musiał zamek być potężny, jak na tamte czasy i o dużym znaczeniu, skoro zainteresowany był nim król Jan Luksemburski. Król osadził na zamku swojego lennika Thamo Glubosa - Starszego. W dokumentach historycznych, on właśnie wymieniany jest jako pierwszy pan na zamku znany z nazwiska. W herbie tego miśnieńskiego szlachcica widnieje Złoty Karp, dlatego prawdopodobnie przyjęto nazwę Karpniki.
W XIV i XV wieku istniało tu feudalne państewko, którego główną siedzibą był zamek Karpień, do którego należały również zamki Homole i Rychelby. Wszystkie te zamki strzegły szlaków handlowych, w tym najważniejszej tzw. Drogi Solnej. Do upadłości państewka i zamku przyczyniły się wojny husyckie. Ostatnim właścicielem zamku był Hinko Krusina, który urządził sobie tutaj rozbójniczą siedzibę. Mieszczanie śląskich miast połączonymi siłami zamek zdobyli i doprowadzili go do ostatecznej ruiny.
Na podstawie przeprowadzonych badań archeologicznych odtworzony został plan zabudowy zamku.
Zamek górny zbudowany był na planie prostokąta z wieżą (stołpem) od strony zachodniej. Budynki gospodarcze znajdowały się po stronie północnej, do nich przylegały podpiwniczone budynki mieszkalne, pałacowe. Całość otoczona była kamiennym murem obwodowym. W późniejszych latach dobudowano podgrodzie z pomieszczeniami dla służby i stajniami. Teraz zamek uzyskał dodatkowe mury obwodowe z wieżą, nie stykały się one jednak z zamkiem górnym.
W XIX wieku ruiny zamku stały się " kopalnią budulca " dla okolicznych mieszkańców. Następnie atrakcją turystyczną dla kuracjuszy z Lądka Zdroju, dla których ustawiono kamienne ławeczki. Dziś możemy zauważyć niewielkie fragmenty murów, usiąść na zabytkowej już, kamiennej ławeczce i wysłuchać legend przewodników:
- O Rycerzu rabusiu, zakochanym w pannie z Lutyni
- O zakochanej szlachciance z Karpna
- O ubogiej wdowie, która chciała zamkowe skarby wynieść
- O takiej, która we mszy duchów uczestniczyła
Być może jest tych legend więcej i nocy nie wystarczy żeby ich wysłuchać.