Babia Góra już w XIX w. była odwiedzana przez artystów i inteligentów, którzy szukali tutaj inspiracji twórczej, zdrowia czy po prostu wypoczynku. Przykładowo w 1804 r. na szczycie Babiej Góry stanął znany wszystkim Polakom ksiądz Stanisław Staszic. Jednak w XIX w. za najznamienitszego gościa, na najwyższym szczycie Beskidu Żywieckiego, uznaje się władcę Węgier arcyksięcia Józefa Habsburga. Swoją wyprawę na Diablak odbył on we wrześniu 1806 r.
W owym czasie na górę najczęściej wchodzono od strony południowej i tak też uczynił arcyksiążę. W związku z wycieczką ważnego gościa na szczycie zbudowano drewniany schron w którym monarcha przebywał kilka godzin. Spożył tam obiad podczas którego miejscowi muzykanci przygrywali mu na skrzypcach, basach, fujarkach i cymbałach. Po obiedzie władca Węgier podziwiał wspaniałe widoki ze szczytu. Pogoda nie była do końca łaskawa dla palatyna, ponieważ podziwianie widoków popsuła mu w końcu burza. Po raz kolejny przydał się więc drewniany schron. Co ciekawe obiekt ten był zapewne pierwszym schronem turystycznym w całych Beskidach i przez pewien czas korzystali z niego zwykli turyści.
Oczywiście opisywanego budynku nie ma dzisiaj na szczycie Diablaka. Do naszych czasów przetrwała jednak pamiątka z pobytu na górze koronowanej głowy. Jest to kamienny obelisk postawiony przez szlachtę węgierską w 1876 r.