Wieś Jarząbki położona jest przy drodze nr 765. Badania archeologiczne przeprowadzone w okresie międzywojennym doprowadziły do odkrycia osady z epoki kamienia oraz cmentarzyska datowanego na czasy współczesne Cesarstwu Rzymskiemu. Wieś Jarząbki wymieniana jest w historycznych dokumentach z roku 1404.
Obecny murowany kościół pod wezwaniem M.B.Miłosierdzia wzniesiony został z fundacji Stanisława Ziółkowskiego i składek parafian. Niewielki kościółek nakrywa dwuspadowy dach z latarnią na sygnaturkę. Jego konsekracji w roku 1998 dokonał bp Kazimierz Ryczan.