Kościół św. Jana Chrzciciela zbudowano na przełomie XV i XVI wieku - świadczy o tym m.in. dzwon z 1506 roku. Umieszczono na nim łaciński napis: "Jusu Christe Fili Dei vivi misere nobis. Maria-Anno Domini 1506" (Jezu Chryste, Synu Boga Żywego, zmiłuj się nad nami. Maryja w Roku Pańskim 1506).
Świątynia była wielokrotnie przebudowywana, obecny kształt zyskała w latach 1778-1792. W 1987 roku ustanowiono tutejszy kościół parafialny diecezjalnym sanktuarium Jezusa Miłosiernego. W pobliżu kościoła znajduje się grota Matki Bożej z Lourdes i ciekawa Droga Krzyżowa o długości 2,5 km, prowadząca wśród zagród i domostw mieszkańców Zielonki.