Inaczej Cielętnik, rozciąga się między T. Vrublevskio gatvė (ul. T. Wróblewskiego), a Barbaros Radvilaitės gatvė (ul. Barbary Radziwiłłównej). Nazwę swą zawdzięcza zamkowi, gdyż został założony w okolicach dziś odbudowywanego Zamku Dolnego. Nazwa „Cielętnik” wywodzi się od rozciągających się tu kiedyś łąk, na których pasły się krowy.
Zamek został zburzony podczas wojny z Moskwą w drugiej połowie XVII wieku. W latach 1799–1803 ostatecznie rozebrano go z polecenia carskich władz. W latach siedemdziesiątych XIX wieku Rosjanie założyli tu skwer im. Aleksandra Puszkina. Ustawili tu też na specjalnym postumencie popiersie poety. Po wycofaniu się z miasta Rosjan po I wojnie światowej zniknęła też nazwa parku, a popiersie poety wywieziono do Rosji.
Po II wojnie światowej władze sowieckiej Litwy przywróciły nazwę Park im. A. Puszkina i ufundowali nowe popiersie poety, które wraz z nazwą zachowały się do 1991 roku, do czasu odzyskania przez kraj niepodległości. W tym też okresie parkowi przywrócono historyczną nazwę, a popiersie Puszkina przeniesiono tym razem do Muzeum Puszkina na Markusiach (Markučiai). Po odzyskaniu przez Litwę niepodległości rozpoczęła się odbudowa Zamku Dolnego tzw. Pałacu Władców (Valdovų rūmai).
Wracając do Parku Zamkowego, idąc w kierunku południowo-zachodnim Cielętnik łączy się z Ogrodem Bernardyńskim obecnie Ogród Serejkiski (Sereikiškių sodas). Park został założony w 1469 r. przez zakonników, którzy mieli tu swój browar i wytwórnię miodów pitnych. Dziś Ogród Bernardyński jest jednym z ulubionych miejsc wypoczynku wilnian. Unikalna przyroda i przytulne zakątki sprzyjają relaksowi, jak też czynnemu wypoczynkowi. Tym bardziej, że park znajduje się w samym centrum miasta obok uczelni i szkół oraz w bezpośrednim sąsiedztwie starówki i prestiżowej dzielnicy Zarzecze. W Ogrodzie Bernardyńskim często odbywają się koncerty, imprezy miejskie oraz festyny ludowe. Z ogrodu rozlega się wspaniały widok na Górę Bekieszową, która leży naprzeciwko po drugiej stronie płynącej przez ogród Wilenki.