Na szczycie góry nad zbiegiem Wilii i Wilenki wznosi się Baszta Gedymina. Jest jedyną pozostałością Zamku Górnego, którego ruiny leżą u stóp tejże baszty. Zamek był wzniesiony w połowie XIV wieku przez Giedymina, prawdopodobnie w miejscu starszych budowli obronnych. Źródła archeologiczne wskazują, że już w wiekach XI-XII na górze była drewniana forteca.
Znany z okresu Gedymina zamek spłonął doszczętnie w 1419 r. Został następnie odbudowany za panowania księcia Witolda. Okazała budowla w stylu gotyckim górowała nad Wilnem, lecz z czasem jej właściwości obronne traciły na znaczeniu i Zamek popadał w ruinę. Ostatni raz był użyty jako obiekt obronny w 1655 roku, kiedy oblegali go Moskale. Z biegiem czasu zamek ostatecznie popadł w ruinę.
Dopiero w XIX wieku przypomniano sobie o obronnych właściwościach zamku. Na rozkaz cara urządzono tu ponownie twierdzę. Wiązało się to też z kolejną dewastacją ruin, gdyż zostały zburzone resztki baszty północnej i południowej, jak też ruiny otaczające zamek. Wzmocniono zbocza góry oraz wybudowano nową drogę do Zamku. Do dziś na Górze Zamkowej zachowała się jedynie odosobniona wieża. W latach 30. ubiegłego stulecia zabezpieczono ją przed ostateczną ruiną.
Po wojnie, po gruntownej rekonstrukcji w latach 1948–1950, urządzono w niej Aukštutinės pilies muziejus (Muzeum Zamku Górnego), które w 1968 r. zostało filią Muzeum Narodowego. Baszta Gedymina jest jednym z najważniejszych symboli narodowych Litwy. Po odzyskaniu przez Litwę niepodległości na szczycie wieży umieszczono trójkolorową flagę narodową.
Zwiedzając muzeum mieszczące się w Baszcie Gedymina, warto zwrócić uwagę na schemat bitwy pod Grunwaldem oraz sztandary zdobyte na Krzyżakach. W muzeum znajduje się też brązowe popiersie wielkiego księcia Witolda dłuta Vincasa Grybasa. Ekspozycje muzealne zawierają też miecze, muszkiety i małe działa, hełmy oraz kolczugi, kamienne kule armatnie inne militaria z różnych okresów. Na jednym z pięter baszty można obejrzeć makietę wileńskich zamków oraz fotokopie rysunków Franciszka Smuglewicza, przedstawiające m.in. zamek i bramy miejskie w końcu XVIII wieku Można też rzucić okiem na panoramiczny plan miasta z 1576 roku, żeby po wejściu na górne piętro skonfrontować go z aktualnym widokiem.
Na najwyższym piętrze baszty urządzono taras widokowy, z którego rozciąga się przepiękny widok na stare Wilno oraz leżące za wzgórzami nowe dzielnice miasta. Jest to jeden z najpiękniejszych obrazów Wilna. Muzeum mieści się przy Arsenalo gatvė .