Pałac Fermora, w którym obecnie mieści się Zespół Szkół Ponadgimnazjalnych nr 2, ma blisko 240-letnią historię, nierozerwalnie związana z rolą Kwidzyna jako centrum administracyjnego władz pruskich w latach 1772-1945. Budynek usytuowany jest na północ od wzniesionego w XIV w. przez biskupów pomezańskich zespołu zamkowo-katedralnego, na terenie średniowiecznego przedzamcza.
Podczas wojny siedmioletniej (1756-1763), kiedy koalicja Prus i Anglii walczyła z koalicją Rosji, Austrii, Francji, Szwecji i Hiszpanii, armia rosyjska wkroczyła do Prus Wschodnich i rozbiła wojska pruskie króla Fryderyka II Wielkiego. Na początku 1758 r. Kwidzyn zajęły wojska generała Wilhelma Fermora (1704-1771) - Niemca kurlandziekigo w służbie rosyjskiej, który od władz miasta i ludności odebrał przysięgę wierności carycy Elżbiecie. Fermor został gubernatorem podbitych ziem i na fundamentach dawnego browaru rozpoczął wznoszenie swojej rezydencji (gmach od strony obecnej ul. Gdańskiej). Budowa trwała w latach 1758-1763, a w 1775 r. pałac rozbudowano.
W 1797 roku zrodziła się potrzeba kolejnego powiększenia siedziby władz rejencji poprzez zbudowanie nowego, wolnostojącego budynku od strony wschodniej. Miał on służyć głównie celom konferencyjnym. Projekt wykonał asesor budowlany z Kwidzyna - Dühring i przesłał go do Berlina. Zmiany do projektu wprowadził architekt królewski David Gilly. Zatwierdzona przez króla Fryderyka Wilhelma III budowa ruszyła w 1799 r. - pracami na miejscu kierował Dühring. Powstał dwukondygnacyjny budynek z ryzalitem, nakryty dachem siodłowym. Ozdobą fasady jest zachowany do dziś 8-metrowy fryz (1802) umieszczony w ryzalicie nad drzwiami i oknami parteru. Trudna jest jednoznacznie zinterpretować przedstawione sceny. Wysmukłe postacie, stylizowane na wzór antyczny draperie szat i rozbudowana symboliki wskazują na zaczerpnięcie tematyki fryzu z kręgu prac Johanna Gottfrieda Schadowa (1764-1859), jednego z najwybitniejszych rzeźbiarzy niemieckich epoki klasycyzmu.