Zamek to najstarszy zabytkowy obiekt w Kownie. Powstał w XIII wieku, u ujścia Wilii do Niemna. Jego celem była obrona mieszkańców przed krzyżackimi napadami. Nie wytrzymał jednak trzytygodniowego oblężenia Krzyżaków, do jakiego doszło w 1362 roku i został całkowicie zrujnowany. Mieszkańcy odbudowali go po pięciu latach.
Zamek okalała fosa o głębokości 5-6 metrów, obronne mury miały 13 metrów wysokości i 2 metry szerokości. Znajdował się tu także półokrągły bastion artyleryjski o średnicy 41 m oraz baszty zbudowane z cegły. Woda płynąca w fosie podmywała mury po północnej stronie, aż do zupełnego ich zniszczenia. Nie ocalały także dwie spośród czterech baszt. Warownia w ciągu kilkuset lat była kilkakrotnie przebudowywana. Od lat 30 - tych XX wieku prowadzone są w zamku prace rekonstrukcyjne.