Gdy w 1414 roku podczas tzw. wojny głodowej do Prus weszły wojska polsko-litewskie, z powodu braku możliwości obrony miasta postanowiono je spalić. Na szczęście tak się nie stało, lecz po tym fakcie właśnie podjęto decyzje o wzniesieniu murów obronnych. Olsztynek może się pochwalić tym że, jest jednym z nielicznych miast, gdzie zachowały się tak duże fragmenty autentycznych obwarowań miejskich z tak późnego okresu.
Długość całego muru mogła wynosić około 1000 m, wysokość dochodziła do 9. W najszerszym miejscu mur miał grubość 2 m, a na zwieńczeniu 1,5 m. Takie wymiary mogą dać nam obraz, że na ówczesne czasy w tak niewielkim mieście były to potężne fortyfikacje. Do dzisiejszych czasów niestety nie zachowały się dwie główne bramy tego systemu obronnego; Brama nidzicka i Brama Wysoka, obydwie zostały rozebrane na początku XIX wieku. Jeśli przyjąć rok 1414 za datę powstania murów, to niektóre źródła okres po wojnie trzydziestoletniej, czyli po 1466 roku podają jako datę ich rozbudowy.
Niestety był to ostatni raz kiedy zwrócono uwagę na utrzymanie tego systemu w dobrym stanie. Następne lata, wojny i pożary, spowodowały systematyczne podbieranie budulca w celu naprawy innych zniszczeń, a tym samym dewastacje tak pięknej i historycznej budowli. Podczas I wojny światowej miasto zajęli wojska rosyjskie, w celu wyparcia nieprzyjaciela Niemcy dokonali ostrzału. Zniszczono całe centrum, i znaczna część murów. Jeszcze podczas trwania działań wojennych, podczas odbudowy zniszczonego centrum, zwrócono również uwagę na stan zachowanych obwarowań. W 1917 r. podjęto decyzje o ich konserwacji i wydano kategoryczny zakaz podbierania cegieł i kamieni do innych napraw.
Prace konserwatorskie przerwał wybuch II wojny, ale już w 1957 r. rozpoczęto starania mające na celu uratowanie zachowanych fragmentów tego zabytkowego obiektu. W latach 90 ubiegłego wieku prowadzono liczne prace archeologiczne wokół murów. Dzięki nim, mimo że dzisiaj możemy oglądać tylko niewielki fragment dawnej świetności, to możemy jednak odtworzyć dokładny zarys dawnego Olsztynka.