Drugi zamek trocki został wzniesiony na półwyspie, między jeziorami Bernardyńskim i Galwa. Budowę zapoczątkował w latach 1362–1382 Kiejstut. Po jego śmierci Witold dopełnił dzieło Kiejstuta i rozbudował zamek. Z kronik wiadomo, że była to potężna budowla otoczona nie mniej potężnym murem wysokości 9 m. Było tu też 11 baszt. Obiekt zajmował powierzchnię około 4 hektarów.
Do dzisiaj także wewnątrz zamku widoczna jest tak zwana góra ofiarna. Ten sztucznie usypany stok miał być w czasach pogańskich miejscem przekazywania ofiar bogom. Po śmierci Witolda zamek był siedzibą władz województwa i powiatu trockiego. Zbierały się tu także sejmiki szlacheckie. Później zamek został zniszczony podczas walk z Rosjanami (1655). W drugiej połowie siedemnastego wieku na terenach zamkowych znajdował się kościół i klasztor Dominikanów. W latach dwudziestych i trzydziestych ubiegłego wieku była to siedziba garnizonu Korpusu Ochrony Pogranicza.