Zespół szpitala św. Karola Boromeusza to dawny szpital miejski oraz klasztor Szarytek. Jest jednym z nielicznie zachowanych i jednocześnie najcenniejszych zabytków architektury szpitalnej osiemnastowiecznej epoki baroku znajdujących się w Polsce. Ufundował go Karol Stanisław Radziwiłł przed rokiem 1716 jako drewniany klasztor Sióstr Miłosierdzia św. Wincentego a Paulo (zwanych Szarytkami). Sprowadzono je w celu prowadzenia szpitala i sierocińca.
Murowany budynek został wzniesiony w 1728 roku. Ufundowany został przez Annę z Sanguszków Radziwiłłową. W latach 1795-1809 pełnił funkcję domu pomocy dla sierot, ludzi chorych i ubogich. W 1884 roku, po usunięciu sióstr Szarytek, zamieniony został na klasztor prawosławny oraz szpital p.w. św. Marii Magdaleny. W czasie I Wojny Światowej pełnił funkcję szpitala wojskowego. W 1918 roku do szpitala powróciły siostry Szarytki. W tym czasie szpital zyskał nowego patrona - św. Karola Brometeusza.
Obecnie budynki zajmuje Caritas Diecezji Siedleckiej (Centrum Wolontariatu, Centrum Integracji Społecznej, Jadłodajnia dla ubogich, Warsztat Terapii Zajęciowej, Środowiskowy Dom Samopomocy, Centrum Pomocy Interdyscyplinarnej oraz Wypożyczalnia Sprzętu Rehabilitacyjnego).