Pierwszym udokumentowanym właścicielem Rytwian był Piotr Bogoria Skotnicki. Na przestrzeni wieków zmieniali się właściciele tych dóbr, a należały do nich m.in. takie rody jak Tęczyńscy, Opalińscy, Lubomirscy, Potoccy, Radziwiłłowie. Z inicjatywy księcia Artura Radziwiłła w 1935 roku w Rytwianach erygowano parafię. Kościołem parafialnym był klasztor OO. Kamedułów, pięknie położony w lesie, oddalony od wsi ok. 3 km. W 1997 roku rozpoczęto przygotowania do budowy nowego kościoła, a trzy lata później rozpoczęto prace przy wznoszeniu murów. Kościół pokamedulski w 2002 roku został rektoratem, a parafia nosi wezwanie nowo wybudowanego kościoła św. Maksymiliana Marii Kolbego. Nowa świątynia położona jest w centrum wsi, w sąsiedztwie dawnej zabytkowej gorzelni, kilkaset metrów dalej można zobaczyć pałac Radziwiłłów - ostatnich właścicieli Rytwian - a także obejrzeć ruiny gotyckiego zamku obronnego.