Koszary zbudowane na miejscu dawnej gotyckiej kamienicy, zwane są również Koszarami Fryderycjańskimi, ze względu na próby Fryderyka II germanizacji miejscowej młodzieży pochodzenia szlacheckiego. Budynek szkoły Kadetów został zbudowany w pierwszej połowie XIX wieku