Od 1234 r. Swobnica, czyli dawny Wildenbruch, wraz z okolicznymi terenami należała do templariuszy, których główną siedzibą był folwark obronny w niedalekiej Rurce. Po delegalizacji tego zakonu w 1312 r. jego dobra na Pomorzu przejęli joannici, którzy jednak popadli w zatargi z okolicznym rycerstwem i mieszczaństwem. Efektem konfliktu było zniszczenie Rurki w 1373 r. Nauczeni doświadczeniem rycerze zakonni postanowili wznieść w innym miejscu bardziej obronny zamek, który zabezpieczyłby ich posiadłości na tym terenie. Wybór padł na półwysep Jeziora Grodziskiego w Swobnicy. Pod koniec XIV w. powstała tutaj potężna ceglana warownia na planie kwadratu o boku ok. 50 m, otoczona murem o wysokości 15 m i wzmocniona przy bramie masywną wieżą o wysokości 35 m. W połowie XVII w. dobra joannickie zostały skonfiskowane przez Szwedów, a następnie przeszły we władanie rodziny Hohenzollernów, która gospodarzyła tutaj do 1945 r.
W 1 poł. XVIII w. zamek przebudowano na rezydencję myśliwską. Rozebrano wówczas zachodni odcinek muru obronnego z bramą, a w pozostałych częściach przebito otwory okienne, natomiast dawny dom zakonny przekształcono w wygodny trójskrzydłowy pałac z bogatym wystrojem barokowym, którego resztki przetrwały do dzisiaj. Mimo tych zmian od zewnątrz zamek zachował surowe ceglane elewacje łącznie z wieżą, do której doprowadzono schody z poziomu dziedzińca, gdyż pierwotne wejście prowadziło do niej z ganku strzelniczego, czyli na wysokości 16 m!
Po 1945 r. zamek został ograbiony, ale uniknął spalenia i później pełnił przez wiele lat funkcję siedziby miejscowego PGR. Kompletnie zrujnowaną budowlę kupił w 1993 r. pewien Belg, ale do dzisiaj nie zrobił nic, żeby przywrócić jej dawny blask. Formalnie obiekt jest niedostępny, jednak po uzgodnieniu ze stróżem można obejrzeć ruiny z bliska, a nawet wejść na szczyt wieży. Pod względem rozplanowania warownia swobnicka jest bardzo podobna do niemal bliźniaczych zamków tego zakonu w Pęzinie koło Stargardu i Łagowie na ziemi lubuskiej. Tamte miały co prawda więcej szczęścia i są dzisiaj w pełni odbudowane, ale to Swobnica ze swoimi wysokimi murami i potężną wieżą jest najlepiej zachowanym przykładem oryginalnego budownictwa warownego joannitów w Polsce.