Kapucyński kościół pw. św. Kazimierza w Nowym Mieście, bliźniaczo podobny do kilkunastu innych świątyń tego zakonu, jakie wzniesiono w XVIII w. na ziemiach dawnej Rzeczypospolitej, to dowód na to, że sarmacki barok potrafił iść w parze z prawdziwie franciszkańskim ubóstwem. Fasada kościoła skonstruowana jest z kilku prostych pilastrów zwieńczonych trójkątnym szczytem. W środku jedyną ekstrawagancją, na jaką pozwolił sobie architekt, jest wielostopniowy gzyms wieńczący ściany i monumentalny ołtarz główny, lecz ogólnie wnętrze to charakteryzuje surowa prostota, skromna jak zgrzebne kapucyńskie habity. Największym z doczesnych skarbów kościoła jest trumienka umieszczona w lewym ołtarzu bocznym, kryjąca relikwie bł. Honorata Koźmińskiego (1829-1916) - założyciela 26 zakonów (!), z których 17 istnieje do dzisiaj, skupiając tysiące członków na całym świecie.
Fenomen tego zakonnika przypomina nieco historię innego wielkiego kapucyna - stygmatyka ojca Pio. Życie zakonne ojca Honorata toczyło się w najtrudniejszym dla polskich kapucynów okresie. W 1864 r. klasztory wszystkich zakonów katolickich na terenie zaboru rosyjskiego zostały skasowane w ramach represji po upadku powstania styczniowego. Pozostawiono jedynie nieliczne z nich, w których skupiono zakonników z likwidowanych domów, skazując ich na izolację i powolne wymieranie. Ojciec Honorat trafił najpierw do Zakroczymia, a następnie od 1892 r. do śmierci przebywał w klasztorze nowomiejskim. Jako wytrawny spowiednik i przewodnik duchowy przyciągał do swojego konfesjonału tysiące wiernych z całej Kongresówki, wśród których znalazło się wiele pobożnych kobiet i mężczyzn pragnących wieść życie zakonne. Ten genialny duszpasterz, nie mogąc skierować ich do zlikwidowanych klasztorów, wymyślił zupełnie nową, konspiracyjną formę życia zakonnego, polegającą na praktykowaniu rad ewangelicznych pod przykrywką różnych świeckich instytucji. Wyróżnikiem tych nowych zgromadzeń był brak tradycyjnych habitów, zamiast których noszono skromne cywilne ubrania. Oprócz modlitwy i życia wspólnotowego podstawowym zadaniem tworzonych przez Koźmińskiego zgromadzeń zakonnych była różnorodna działalność charytatywna.
Paradoksalnie więc okazało się, że odosobnienie, na które skazano ojca Honorata w tym małym prowincjonalnym mieście, przyniosło niezwykle obfite owoce. Dzisiaj w nowomiejskim klasztorze znajduje się również niewielkie muzeum poświęcone osobie beatyfikowanego w 1988 r. kapucyna, w którym warto zobaczyć kilka związanych z nim dokumentów, zdjęć i przedmiotów osobistych (wśród nich narzędzia pokutne: mały bicz, fragment szorstkiej włosiennicy i kolczaste łańcuchy noszone przez Koźmińskiego pod habitem!). Niemym świadkiem jego świętości jest jednak przede wszystkim oryginalny konfesjonał z 1867 r. ustawiony w kościele, swoisty sztab, z którego ojciec Honorat dowodził armią swoich duchowych synów i córek.