Początek niezwykłych dziejów sanktuarium sięga połowy XIV w. Wśród konarów lipy rosnącej w miejscu przeprawy przez zabagnioną dolinę strumienia pojawiła się wtedy figurka Matki Boskiej z Dzieciątkiem. Według legendy umieścił ją tam uwolniony z rastemborskiego więzienia skazaniec. Oczekując w celi więziennej na egzekucję, wystrugał niezwykłą figurkę, nie znając zupełnie rzeźbiarskiego rzemiosła. Sędziowie uznali ten fakt za znak niebios i złoczyńcę nagrodzili wolnością.
Nie ma dzisiaj w Świętej Lipce tamtej figurki, nie ma też pierwszego kościoła, który postawiono w cudownym miejscu. Obecny kościół i klasztor, perły polskiej architektury barokowej, powstały w latach 1687-1693. Budowę świątyni poprzedziły prace przygotowawcze. Wzniesiono ją dokładnie w miejscu, gdzie rosła słynna lipa. Bagnisty grunt wymagał stabilizacji, którą osiągnięto przez wbicie w podłoże licznych pali z pni olchowych. Wspaniały pielgrzymkowy zespół architektoniczny zbudowali jezuici ze składek możniejszych mieszkańców Warmii. Miejsce to już w XVII w. było szeroko znane w całej Rzeczypospolitej, skąd także płynęły hojne ofiary na budowę. W efekcie powstał jeden z najwspanialszych na polskich ziemiach barokowych zespołów kościelno-klasztornych.
Kościół Nawiedzenia NMP zdobią niezwykle efektowne freski i polichromie, dekoracje rzeźbiarskie i obrazy. Imponujące są barokowe organy. W nawie głównej znajduje się imitacja dawnej lipy, w której umieszczono wykonaną ze srebrnej blachy figurkę Matki Boskiej pochodzącą z 1652 r.
Świątynię otacza czworobok krużganków z trzema bramami prowadzącymi na dziedziniec. Ciekawym miejscem jest główna brama. Jej autorem był mistrz kowalski z Reszla, Jan Schwartz. Powstała w jego warsztacie w latach 1731-1733. To jedno z najmisterniejszych kowalskich dzieł, jakie można zobaczyć w naszym kraju. Składa się z niezwykle precyzyjnie wykonanych, splecionych ze sobą dziesiątków liści akantu.
Zwiedzanie sanktuarium uatrakcyjniają prezentacje organów. Krótki koncert oraz pokaz ruchomych figur ozdabiających organowy prospekt w sezonie letnim odbywa się w niedziele i święta o 10:00, 12:30, 13:30, 15:00, 16:00, a w dni powszednie o 9:30, 10:30, 11:30, 14:00, 15:00, 16:00, 17:00.