Ulica Książęca biegnie od pl. Trzech Krzyży w dół, wzdłuż dawnego wąwozu rzeczki Żurawki. Po obu jej stronach, na północ i na południe, wzdłuż skarpy wiślanej, w XVIII w. rozciągały się ogrody księcia podkomorzego Kazimierza Poniatowskiego, najstarszego brata króla Stanisława Augusta. Były właściwie dwa ogrody - część północna, ograniczona dzisiaj wiaduktem mostu Poniatowskiego, budynkami Muzeum Narodowego i Wojska Polskiego oraz giełdy, a od wschodu ul. Kruczkowskiego - to ogrody "Na Książęcem". Część położoną na południe od ul. Książęcej nazwano ogrodami "Na Górze".
Ogród "Na Książęcem" zaprojektował dla księcia podkomorzego w latach 1776-1779 wybitny architekt Szymon Bogumił Zug. Był to park rezydencjonalny o charakterze sentymentalnym, pięknie położony - częściowo na urozmaiconym terenie skarpy warszawskiej, a częściowo już na terenie płaskim. Składał się z części geometrycznej, z aleją główną i tarasami usytuowanymi na skarpie oraz z części bardziej dzikiej, naturalnej, z niewielkim stawem i wyspą. Park ozdabiały liczne budowle tzw. małej architektury, m.in. Domek Imama, minaret, który przetrwał do 1944 r., Pawilon Chiński, loża masońska (po stronie południowej) oraz - w skarpie, pod ziemią - rotunda zwana Elizeum. W Warszawie opowiadano legendy o wspaniałościach i zbytkach książęcych ogrodów - podobno były tam oranżerie, z których na stoły księcia trafiały ananasy i inne egzotyczne owoce, a na wysepce na stawie, w tzw. małpiej kolonii hodowano małpy!
Z dawnych ogrodów księcia do dziś przetrwała zieleń na skarpie, niewielka wybetonowana sadzawka (czasem bywa w niej woda), a nad nią mały ośmioboczny budynek studni w stylu klasycystycznym (obecnie w środku jest ujęcie wody oligoceńskiej). Tuż obok studni, w skarpie widać ciężkie, metalowe drzwi - kiedyś wejście do Elizeum, podziemnego salonu-rotundy, sklepionej ceglaną kopułą, o wysokości ponad 8 m. Prowadziły do niego schodki i mroczny korytarz wiodący do okrągłego salonu ze ścianami wyłożonymi marmurem, z czterema głębokimi wnękami, w których znajdowały się wygodne kanapy...
Niestety, dziś obiekt nie jest oficjalnie dostępny do zwiedzania - wymaga kosztownego remontu, a przede wszystkim osuszenia i prac izolacyjnych. Co jakiś czas pojawiają się różne pomysły na zagospodarowanie Elizeum, m.in. na salę koncertową (podobno w Elizeum jest bardzo dobra akustyka).
Warto przejść również (kładką nad ulicą) na południową stronę ul. Książęcej, w okolice Muzeum Ziemi (dawny pałacyk Branickich) i willi architekta Bohdana Pniewskiego, zbudowanej w latach 1935-1939 nad dość głębokim wąwozem. Teren jest tam bardzo pięknie ukształtowany, a willa, która od strony uliczki ma trzy kondygnacje, od strony wąwozu jest zaskakująco wysoka. Została zbudowana nad dawną lożą masońską. Na jej ścianie znajduje się tajemniczy napis: "SCANDIVS / DD ARFX / TAMRC+", który podobno oznacza:
Pnący się przebudował świątynię masonów i zamieszkał w niej.