Na skarpie nadbużańskiej, tu gdzie dziś znajduje się park, w drugiej połowie XVI w. biskup płocki Piotr Dunin Wolski kazał zbudować okazały dwór. Było to potem ulubione miejsce Karola Ferdynanda Wazy, królewskiego syna, biskupa wrocławskiego i płockiego, księcia nyskiego i opolsko-raciborskiego. Ambitny biskup wsławił się tym, że w 1648 r., po śmierci przyrodniego brata Władysława IV kandydował do tronu polskiego, rywalizując w czasie elekcji z bratem rodzonym, przyszłym królem - Janem II Kazimierzem. Karol Ferdynand Waza zmarł w Wyszkowie w 1655 r.
Do dziś zachował się obelisk poświęcony jego pamięci, ufundowany przez Jana Kazimierza, który warto zobaczyć. Dzieło zaprojektował Włoch Jan Baptysta Gisleni - nadworny architekt Wazów. Jeden ze starszych polskich pomników, będący atrakcją Wyszkowa, stoi przy ul. 3 Maja, nieopodal miejsca, gdzie kiedyś wznosiła się ulubiona rezydencja biskupa Wazy, niemal naprzeciw budynków Urzędu Miejskiego i Starostwa. Na obelisku ze zmatowiałej i zszarzałej ze starości skały na każdej z czterech ścian widnieje ta sama płaskorzeźba: herb Wazów - Snopek.