Starosta gostyński Zygmunt Dembiński ufundował w tym miejscu klasztor dla tercjanek franciszkańskich zwanych "koletkami". Budynek powstał najprawdopodobniej w wyniku przebudowy starego dworu. Działo się to około 1551 roku. Na mocy bulli papieskiej Piusa V z 1560 roku, reformującej żeńskie wspólnoty nieklauzurowe, próbowano zmusić koletki do uroczystych ślubów. Jednak ze względu na brak kościoła nie udało się wprowadzić im klauzury. Dopiero w 1739 roku zbudowano dla sióstr kaplicę św. Kolety. Znajdowała się ona przy kościele bernardynów, czyli po drugiej stronie dzisiejszej ulicy Koletek. Aby siostry mogły dochować ślubów, dobudowano drewnianą kładkę nad ulicą, po której szły wprost do kaplicy. Ostatecznie w 1788 roku klasztor został zlikwidowany przez prymasa Michała Poniatowskiego, chociaż jeszcze do 1823 roku część sióstr zajmowała budynek klasztorny. Po sprzedaży obiektu wszystkie siostry trafiły ostatecznie do klasztoru bernardynek klauzurowych przy kościele św. Józefa w Krakowie. W 1854 roku budynek zmodernizowano na potrzeby Towarzystwa Dobroczynności (część wschodnia dzisiejszego kompleksu), które w latach 1881-1882 dobudowało część frontową z wieloboczną, narożną kaplicą. W 1934 roku dobudowano kolejne skrzydło, a w 1936 roku rozbudowano część zachodnią. Od tego czasu kompleks nie zmienił swojej formy. Obecnie budynki przeszły w ręce prywatnego inwestora, który chce rozbudować cały kompleks i stworzyć w nim apartamenty.