Secemin jest miejscowością o XIII w. rodowodzie. Mimo, że najwcześniejsze jej dzieje nie są zbytnio opisane, wiadomo, że istniało tutaj założenie mieszkalno-obronne pierwszych właścicieli, Szafrańców. Pierwsza wzmianka o "fortalicium, curia et praedium" datowana jest na rok 1540, jednak badania archeologiczne z roku 2005 określiły datę powstania budowli na wiek XV. Miała formę otoczonej fosą wieży rycerskiej zbudowanej na planie kwadratu, z zaokrąglonymi narożnikami. Zbudowano ją na wyniesionym terenie, dziś nazywanym Kopcem lub Fortalicją Szafrańców. Miejsce to jest najstarszą częścią Secemina.
Wieża rycerska Szafrańców prawdopodobnie uległa zniszczeniu już w XVII w. Około roku 1752 kolejni właściciele – Czarnoccy – zbudowali na kopcu drewniany dwór, przebudowany w ostatniej ćwierci XIX w. na murowany przez ostatnich właścicieli, Lohmannów. Po wojnie dwór popadł w ruinę. Całkowicie go rozebrano w latach 70. XX wieku. W październiku 2013 r. zakończono rewitalizację terenu dawnej fortalicji i parku podworskiego. Zarośnięta fosa została oczyszczona; zbudowano nad nią mostek, poza tym wzmocniono skarpy, wytyczono ścieżki, zaznaczono na powierzchni fundamenty wcześniejszych budowli i ustawiono tablice informacyjne.
Jan Lohmann, potomek ostatnich właścicieli, opisał secemiński dwór w swojej autobiograficznej powieści. Na tablicy informacyjnej umieszczono jej fragment: „Za kościołem z XV wieku, byłym zborem kalwińskim w Seceminie, za fosą, w cieniu trzechsetletnich lip – przed II wojną światową – bielił się zbudowany przez Czarnockich stary dwór z XVIII wieku z wysokim, łamanym dachem i gankiem na siedmiu kolumnach. Od bramy do dworu, była grabowa aleja. Przed dworem krytym gontem klomby i za mostkiem ogród, pełen starych, ogromnych drzew, kanał z łukiem drugiego mostu i ogród różany, za nim sad i ogród warzywny.”