Poniżej skarpy, w pobliżu Białego Domu od strony południowej znajduje się fragment przyziemia istniejącej tu od 1822 r. Oranżerii Gotyckiej należącej do Ogrodu Belwederskiego. Zachowała się pozostałość części środkowej przyziemia. Od strony północnej mieści się otwór prowadzący do piwniczki, zaś od strony południowej półokrągło sklepiona nisza. Po obu stronach na sztucznym usypisku wyrosły już drzewa.
Budynek ten prezentował się okazale. Jego elewacja południowa była rozczłonkowana jedenastoma ostrołucznymi oknami. W ścianach szczytowych znajdowały się okrągłe okna rozetowe. Budynek wieńczyła attyka w formie krenelaża, a w części środkowej wypełniona maswerkami. Ściany węższe ozdabiały okna rozetowe oraz narożne skarpy zwieńczone sterczynami. Wzdłuż budynku od południa wznosił się taras obrzeżony kamiennymi słupkami i balustradą z żelaza lanego. W podmurowaniu umieszczono kamienne, dekoracyjne otwory strzelnicze. Efekt malarski budowli polegał na przeciwstawieniu czerwonym, ceglanym ścianom jasnych elementów dekoracyjnych wykonanych w kamieniu lub tynku.
Budowla ta swoją neogotycką formą wzbogacała romantyczny pejzaż Ogrodu Belwederskiego. Jej twórcą był prawdopodobnie Jakub Kubicki.