Obecny budynek zwany Willą Casablanca, na cześć filmu "Casablanca"z Humpreyem Bogartem, jest kolejnym obiektem wybudowanym w tym miejscu. Pierwszy powstał w II połowie XIX w. z przeznaczeniem na dom burgrabiego olsztyńskiego zamku, czyli osoby odpowiedzialnej za stan zamku i jego wyposażenie. Jest to obiekt położony na terenie Parku Zamkowego, dokładniej lokalizując znajduje się on na północny zachód od drogi dojazdowej do Zamku Kapituły Warmińskiej, przy ulicy Zamkowej 5.
Willa jest budynkiem jednopiętrowym, od strony wschodniej przylega do niej parterowa przybudówka. Okna willi są prostokątne, w kondygnacji parteru głównego zwieńczone tynkowaną półkolistą arkadą, całość skrywa mansardowy dach z lukarnami. Jeszcze pod koniec XIX w. całość przeszła pod władanie wojska z przeznaczeniem na potrzeby oficerów. Na początku XX w. nastąpiło zdarzenie, które ponownie zmieniło bieg losów tej budowli.
Otóż 27 grudnia 1907 r. kapitan 73 Pułku Artylerii Harold von Groeben zastrzelił w tej willi majora Augusta von Schoenbecka oficera Sztabu Generalnego, który był mężem jego kochanki. Po tym wydarzeniu Harold von Groeben powiesił się w więzieniu, natomiast żona zastrzelonego majora uznana została za niepoczytalną i zniknęła prawdopodobnie ukryta przez rodzinę, gdyż słuch o niej zaginął. Incydent ten spowodował, że wojsko postanowiło pozbyć się nieruchomości i już w krótce całą posesję zakupił Ernst Harich właściciel drukarni która wydawała m.in. Allensteiner Zeitung.
Ernst Harich rozebrał dotychczasowy budynek i postawił piętrową willę przypominającą swoim wyglądem dzisiejszy kształt. Po II wojnie światowej w 1945 r. budynek przeznaczono na rezydencję wojewodów olsztyńskich, ale już w 1950 r. zarządzało nim Ministerstwo Obrony Narodowej czyniąc z willi słynny na cały Olsztyn Klub i Kasyno Garnizonowe. Przez krótki okres mieściła się w nim również Biblioteka Wojskowa.
Po likwidacji jednostek wojskowych willa popadła w zapomnienie i co najgorsze, w ruinę. Z pewnością będzie miała swój optymistyczny ciąg dalszy, gdyż zakupiona przez prywatnego inwestora jest pieczołowicie restaurowana, z zamiarem przeznaczenia jej na lokal użytkowy.