W krajobrazie Potulic dominuje zakład karny, w którym przebywa ok. 1000 osadzonych. Nie jest to jednak pierwsze miejsce odosobnienia w tej lokalizacji. Na przełomie 1940/1941 r. władze okupacyjne utworzyły w potulickim majątku (pałacu i przynależnych budynkach) obóz dla wysiedlanych ze swojej ziemi Polaków, trafiali tu także osądzeni za sprzeciwienie się władzom okupacyjnym.
Podlegał on Centrali Przesiedleńczej w Gdańsku. Początkowo zgromadzono ok. 1000 więźniów; budynki pałacowe były na tę liczbę zdecydowanie za małe, fatalne warunki higieniczne i głód przyczyniały się do śmierci wielu osadzonych. W połowie roku 1941 przeprowadzono szereg zmian: obóz stał się „Auffanglagers” (obozem przechowania), nazwę wsi zmieniono na Lebrechtsdorf, zaś zarząd przejęło dowództwo KL Stutthof. Rozpoczęto też intensywną rozbudowę jednostki – powstało 30 drewnianych baraków (wycięto drzewa z ogromnego parku krajobrazowego wokół pałacu) przeznaczonych dla 10.000 więźniów. Szczytową liczbą było 11.735 (w lipcu 1944). Szacuje się, że przez obóz przewinęło się łącznie ponad 25.000 więźniów, z których co najmniej 1291 zginęło.
W 1942 obóz wrócił pod zarząd Centrali Przesiedleńczej i stał się zwykłym obozem pracy. Funkcjonowało w nim szereg warsztatów pracujących również dla przemysłu zbrojeniowego. Dzieci przebywające w obozie wykonywały lżejsze prace, zaś na przywiezionych z KL Auschwitz dzieciach białoruskich prowadzono pseudoeksperymenty medyczne.
Wobec zbliżającego się frontu 21 stycznia 1945 r. więźniów zdolnych do marszu wyprowadzono w kierunku Nakła, jednak w samym mieście eskorta została zaangażowana do walki frontowej, przez co więźniowie mogli się rozejść. Władze komunistyczne wykorzystały obóz potulicki tworząc w nim Centralny Obóz Pracy (1945-1950) gromadzący Niemców, Volksdeutschów, niewielką liczbę jeńców wojennych, jak i Polaków. Po jego likwidacji powstał istniejący do dziś zakład karny.
Na zdjęciu monument przed bramą obecnego zakładu karnego.