Kościół znajduje się na wzniesieniu Just, którego nazwa pochodzi od założyciela pierwszego kościoła w tym miejscu, benedyktyna i pustelnika Justa zwanego też Jodokiem, który w świeckim życiu był rycerzem o imieniu Skarbimierz z Giewartowa. Przebywał on na tym terenie ok. roku 1000-nego nauczając moralności, wiary oraz uprawy roli. Założył też osadę nazwaną Just.
Był on towarzyszem świętych Andrzeja Świerada i spokrewnionego z Mieszkiem I Benedykta Stojawa. Po śmierci w 1007 r. został kanonizowany przez papieża Grzegorza VII. Jego ciało spoczęło w pierwszym kościele, który uległ zniszczeniu w czasie drugiego najazdu tatarskiego w 1259 r. Z pierwszego kościoła zachowała się kamienna chrzcielnica oraz kilka rzeźbionych kamieni. Legendę o św. Juście spisał na przełomie XVI i XVII w. Marcin Boroniusz z Jarosławia, opierając się na opowiadaniach miejscowej ludności.
Kolejny kościół powstał w 1400 roku przy klasztorze ufundowanym w tym miejscu przez Hebda i Zochnę de Rostein (Rożnowskich). Z tamtego czasu pochodzą przechowywane w kościele obrazy św. Justa i Matki Bożej. W 1605 r. miejscowy dziedzic Cyryl Chrząstowski przeszedł na arianizm, po czym odebrał ziemie tutejszym mnichom a klasztor i kościół zostały zniszczone wraz ze wszystkim kościelnymi aktami. Od tamtego czasu kościół podlega parafii w Tęgoborzy.
Obecny kościółek został wybudowany w XVII w. Ma konstrukcję zrębową, jednonawową pokrytą jednokalenicowym dachem. Zachrystia została dobudowana z XIX w. Na kruchcie znajduje się wieżyczka na sygnaturkę pokryta barokowym hełmem. Dach, obecnie blaszany, pierwotnie był pokryty gontem. W kościele na Juście brał ślub jedyna kobieta zamordowana w Katyniu – Janina Lewandowska, śpiewaczka, pilotka, oficer Wojska Polskiego, pierwsza kobieta w Europie, która oddała skok spadochronowy z wysokości 5 tys. m.