Pierwszy klasztor żeński w Żarnowcu założyli cystersi z Oliwy pod Gdańskiem już w 2. ćwierci XIII w. O szczegółach tej fundacji właściwie nic nie wiadomo, gdyż w świetle ówczesnego prawa zakonnego, które zabraniało opatom tworzenia nowych klasztorów mniszek, była ona po prostu nielegalna! W późniejszym czasie panny żarnowieckie przeszły na regułę benedyktyńską, w XVI w. przetrzebiła je reformacja, a pod koniec tego stulecia klasztor został przejęty przez benedyktynki z Chełmna, którym przewodziła wówczas słynna reformatorka Magdalena Mortęska. Dzięki niej doszło do ponownego rozkwitu życia zakonnego w starych murach, jednak po pierwszym rozbiorze Polski władze pruskie zajęły dobra klasztorne.
Odrodzenie klasztoru nastąpiło dopiero po II wojnie światowej dzięki przybyciu tutaj sióstr z Wilna. Obecnie klasztor żarnowiecki jest jednym z dziewięciu domów benedyktynek w Polsce i jedynym na Pomorzu średniowiecznym klasztorem wiejskim, w którym nadal prowadzi się życie zakonne. Z tego względu dawne zabudowania klasztorne są w większości objęte klauzurą, czyli niedostępne dla ludzi świeckich. Warto zobaczyć natomiast dostępny dla zwiedzających kościół, pełniący dodatkowo funkcję świątyni parafialnej. Zachował on typową formę gotycką ze smukłymi oknami i pięknym sklepieniem gwiaździstym. Dosyć skromne wyposażenie kościoła pochodzi przeważnie z okresu renesansu i baroku. Ciekawym miejscem jest gotycki krużganek, który przylega do świątyni od północy i otacza zielony wirydarz. Klimat tego miejsca pozwoli nam choćby trochę wczuć się w atmosferę średniowiecza. W skarbcu na terenie klauzury zachowały się bogate zbiory szat i naczyń liturgicznych oraz starych ksiąg, niestety aktualnie są one niedostępne dla turystów.