Do XIV w. Świecie jako osada podgrodowa istniała w okolicy dzisiejszego miasta, na wysokim brzegu Wisły, w pobliżu przeprawy przez Wdę. Po 1338 r. odbyła się pierwsza przeprowadzka miasta. W widłach Wisły i uchodzącej do niej Wdy powstało nowe Świecie, otoczone murami, przytulone do zamku krzyżackiego komtura. Ciasno zabudowane kamieniczkami, z farnym kościołem i ratuszem w rynku istniało w tym miejscu ponad 500 lat. Był to jednak okres ciągłych zmagań z żywiołem powodzi, jaki sprowadzała na miasto Wisła.
Po katastrofalnej wielkiej wodzie w 1855 r. mieszczanie świeccy się poddali. Swoje nowe domy postanowili zbudować w innym, bezpiecznym miejscu. Znane nam dzisiaj miasto to Świecie III, jego centrum powstało w latach 1858-1885. Po starym Świeciu został średniowieczny kościół, fragment miejskich murów obronnych (warto zobaczyć te pamiątki historii), a także ogródki działkowe.