Budynek dawnej karczmy powstał ok. 1710 r. Z racji położenia naprzeciw Kościoła Łaski (obecnie kościół katolicki Podwyższenia Krzyża Świętego) zwano ją Karczmą Kościelną. Chętnie korzystali z niej wierni, którzy przybywali na niedzielne nabożeństwo z sąsiednich wiosek. W XIX w. w miejscu karczmy powstał zajazd „Pod Brązowym Jeleniem”, który po kilkunastu latach awansował do rangi hotelu. W latach 1910-1911 hotel przeszedł gruntowny remont, otrzymując obecną postać. Przebudowano wnętrza, powstało 35 pokojów gościnnych. W latach 20-tych na zapleczu zbudowano 7 garaży i uruchomiono niewielką stację benzynową. Restauracja hotelowa, mieszcząca się na parterze, nawiązywała wystrojem do swojej nazwy. Na ścianach wisiały poroża jeleni, a na belkach stropowych umieszczono zabawne rymowanki związane z tym zwierzęciem. Po II wojnie światowej przez kilka lat w budynku nadal funkcjonował hotel „Pod Brązowym Jeleniem”. Potem była tam świetlica Zakładu Energetycznego i znany w mieście klub „Relax”. Po dużym remoncie w 1986 r. budynek dawnego hotelu stał się siedzibą Jeleniogórskiego Centrum Kultury.