Zabytkowy budynek starej plebani został wybudowany w latach 70-tych XIX w. Do rejestru zabytków został wpisany w roku 2004. Od 1995 r. w budynku działa Izba Regionalna założona i prowadzona przez pasjonatów miejscowej kultury i tradycji – nauczycieli, przewodników i artystów. Wewnątrz można podziwiać tradycyjne stroje z Podlasia, rękodzieła sztuki ludowej i fotografie dawnych mieszkańców Puńska. W muzeum można zakupić współczesne dzieła ludowych artystów. Obecnie muzeum opiekuje się Stowarzyszenie Litewskiej Kultury Etnicznej w Polsce.
W 2020 roku budynek został wyremontowany. Przywrócony został mu wygląd z końca XIX w. Podczas prac remontowych na poddaszu budynku znaleziono pudełko z trzynastoma płytami fotograficznymi dokumentującymi życie parafii w latach 30-tych XX wieku.