Parafia św. Stanisława Biskupa w Żytowiecku wzmiankowana była po raz pierwszy w 1419 r. Do drugiej połowy XVIII w. posiadała drewniany kościół. W jego miejscu w latach 1773-1777 zbudowana została nowa świątynia. Późnobarokowy kościół ufundował ówczesny właściciel wsi Maksymilian Mielżyński. W tym samym czasie powstała druga najstarsza budowla Żytowiecka, którą jest stojąca w pobliżu kościoła organistówka.
Organistówka w Żytowiecku jest murowanym, parterowym budynkiem zbudowanym na rzucie prostokąta. Pośrodku trzyosiowej fasady znajduje się wejście, w którym zachowały się stare drzwi. Budynek nakrywa wysoki czterospadowy dach.
Obecnie organistówka nie jest użytkowana. Szansą na przetrwanie jest objęcie jej Gminnym Programem Opieki nad Zabytkami Gminy Poniec.