W pobliżu lidzbarskiej fary, na prawym brzegu rzeki Łyny, pod koniec XV wieku utworzono tzw. ogrody biskupie. W tym samym czasie wraz z nimi wzniesiono pałacyki i pawilony ogrodowe pełniące wówczas role swoistych rezydencji letnich. Niestety wojny szwedzkie prowadzone w latach 1654-1660 i w 1705 r. doprowadziły do całkowitego zniszczenia znajdujących się tu obiektów.
Pierwszej próby odbudowy podjął się biskup Teodor Andrzej Potocki, trwało to od 1711 do 1723 r., ale do pełnej świetności i ukończenia doprowadził biskup Ignacy Krasicki. On tez bardziej uatrakcyjnił to miejsce; około 1770 r. rozbudował skromny pawilon ogrodowy nadając całości formę klasycystyczną. Powstała w ten sposób budowla na planie prostokąta składająca się z pięciu harmonijnie przylegających do siebie części. Na szczególną uwagę zasługują liczne zdobienia budowli a zwłaszcza kolumny porządku toskańskiego.
Obiekty często przebudowywano, działo się tak w XIX i XX w., a w 1969 r. podczas kolejnych prac odsłonięto fragment malowidła ściennego pochodzącego z czasów Krasickiego i przedstawiającego alegorię pór roku. Obecnie znajduje się tutaj filia elbląskiej Biblioteki Pedagogicznej lecz już wkrótce znowu będzie remontowana. Postanowiono przywrócić dawny blask tej perełki myśli architektonicznej czasów stanisławowskich, a także utworzyć muzeum osób zasłużonych dla Warmii z gabinetem figur woskowych włącznie.