Historia tego budynku zaczyna się w roku 1923, gdy misjonarze werbiści w poszukiwaniu miejsca na poszerzenie wspólnoty o tereny Pomorza zakupili od rodziny Ottona Von Bismarcka pałacyk wraz z kawałkiem ziemi. Nie szczęściło im się jednak, gdyż tuż przed zasiedleniem nowo nabyte zabudowania zniszczył pożar, podobno wzniecony przez podpalacza. Nie zniechęciło to wytrwałych werbistów, którzy w kolejnych latach na zgliszczach budowali swój dom. Utworzyli tam gimnazjum, nowicjat, a także drukarnię. Gdy wybuchła wojna, hitlerowcy urządzili w budynku klasztornym więzienie - miejsce internowania osób duchownych i polskiej inteligencji z Pomorza. Po wyzwoleniu werbiści wznowili swą posługę w Górnej Grupie. Nie trwało to jednak długo, bowiem komuniści odebrali zakonnikom ich własność. W budynku ulokowano oddział szpitala psychiatrycznego ze Świecia. Zamieszkali tu zarówno chorzy psychicznie, jak też dziwacy, nieudacznicy, często samotni, zapomniani przez swoich bliskich.
W nocy z 31 października na 1 listopada 1980 szpital psychiatryczny w Górnej Grupie stał się areną tragicznych wydarzeń. Wybuchł pożar, w czasie którego zginęło 55 pacjentów, a 26 zostało ciężko poparzonych. Część z nich nie miała szans na uratowanie: znajdowali się w salach, w których były drzwi bez klamek, a okna zostały zabite deskami. Leżeli przywiązani do łóżek, które wyginały się od gorąca. Akcja ratownicza prowadzona była nieudolnie, a część z jej uczestników była pijana. Mówiono o pacjentach, którzy zdołali wydostać się z płomieni, lecz zamarzli pozostawieni sami sobie na siarczystym mrozie. Mówiono także o chorych, którzy z uporem wracali do płonących pomieszczeń, nie ufając próbującym ich ratować ludziom.
Ten tragiczny pożar stał się dla Jacka Kaczmarskiego inspiracją do napisania piosenki "A my nie chcemy uciekać stąd". W tamtych czasach często mylnie interpretowano jej słowa, sądząc, że autor śpiewając "Stanął w ogniu nasz wielki dom..." miał na myśli Polskę ogarniętą pożarem stanu wojennego. Werbiści długo jeszcze czekali na odzyskanie swojej własności. Nastąpiło to dopiero w 1989 roku. Dom był zniszczony. Podobno tym, którzy jako pierwsi zamieszkali w tym miejscu po pożarze dane było doświadczać czyjejś obecności. Dziwne dźwięki, czy też uginające się bez żadnego powodu łóżka sprawiły, że misjonarze kilkakrotnie odprawiali Msze Święte za dusze ofiar pożaru. Obecnie w klasztorze przebywają chorzy i starsi kapłani, a w piwnicach urządzono muzeum misyjno - etnograficzne.
A jeśli kiedyś zdarzy Wam się mknąć drogą łączącą Grudziądz z autostradą i zobaczycie okazały budynek klasztoru, pomyślcie przez chwilę o ofiarach strasznego pożaru. Pomyślcie także o Jacku Kaczmarskim, genialnym bardzie Solidarności. A może się też zdarzyć, że w uszach zabrzmi Wam piosenka Kaczmarskiego.