II wojna światowa rozpoczęła się na Żywiecczyźnie o świcie 1 września 1939 r., kiedy 7 Bawarska Dywizja Piechoty przez Przełęcz Zwardońską wkroczyła w dolinę Soły. Zwardoń otoczony z dwóch stron nie miał szans na przetrwanie. W dniu 2 września 1939 r. w godzinach rannych nastąpiło kolejne uderzenie na odcinku od Ujsoł, przez Milówkę, Kamesznicę do rejonu Istebnej. W okolicach Milówki nacierające wojska niemieckie natrafiły na zdecydowany opór.
Natarcie zatrzymane zostało do godzin południowych. Niemcy, nasilając ostrzał armatni pozycji polskich, starali się złamać opór i odciągnąć uwagę od przegrupowania swoich wojsk. Po przegrupowaniu oddziałów niemieckie wojska wznowiły ataki na polskie pozycje, przesuwając się pod Węgierską Górkę w okolice znajdujących się tam polskich schronów bojowych. Garstka żołnierzy 151 kompani fortecznej wchodzącej w skład 1 Brygady Górskiej bohatersko walczyła z przeważającymi niemieckimi siłami na przedpolach schronów: „Waligóra”; „Wąwóz”; „Wędrowiec”; „Włóczęga” i „Wyrwidąb”. Niemcy, widząc, że prowadzenie zmasowanego ataku na polską linię obronną nie daje efektu, podjęli zdobywanie poszczególnych schronów pojedynczo, rzucając znaczne siły do walki z garstką znajdujących się w nich żołnierzy oraz wspierając ataki artylerią i działaniami saperskich grup szturmowych.
Działania te zmusiły Polaków do poddania się 3 września 1939 r. i wycofania z bronionego rejonu. Chcąc upamiętnić tę heroiczną obronę, w okolicach, gdzie znajdują się schrony i ich ruiny, utworzono miejsce pamięci i czci poległych w walkach Polaków. Rokrocznie, w okresie rocznicy Bitwy pod Węgierską Górką, odbywają się poświęcone tym wydarzeniom uroczystości patriotyczne w okolicach schronu „Wędrowiec” pełniącego rolę muzeum. Miasto Węgierska Górka w 1971 r. zostało odznaczone Krzyżem Grunwaldu III klasy za walkę obronną z hitlerowskim najeźdźcą. W 2011 r. uroczystości rocznicowe zaszczycił Prezydent RP.