Śrem należy do najstarszych miast Wielkopolski. Miasto nad Wartą lokowane zostało z inicjatywy księcia wielkopolskiego Przemysła I w 1253 r. w pobliżu grodu kasztelańskiego istniejącego tu w XII wieku. Najstarsze wzmianki o nim znajdują się w dokumentach z 1136 r. Miasto powstało na lewym brzegu rzeki, jednak w 1393 r. przeniesiono je na bezpieczniejsze wzniesienie znajdujące się po drugiej jej stronie. Niedługo po lokacji Śremu brat Przemysła I książę Bolesław Pobożny oraz jego żona Jolenta sprowadzili do miasta franciszkanów.
Książę był też fundatorem budynków zakonnych w części Starego Miasta nazywanej Klasztorkiem. Franciszkanie pod koniec XV wieku przenieśli swoją siedzibę na drugi brzeg Warty na tzw. Ostrówek. Po otrzymaniu gruntów na Ostrówku franciszkanie zbudowali tutaj budynki zakonne, które najprawdopodobniej wykonano z drewna. W następnym stuleciu obiekty poddawano rozbiórkom, wznoszono nowe i jej rozbudowywano.
W połowie XVII wieku klasztor był już murowaną budowlą, której fundatorem był przypuszczalnie król Zygmunt II Waza. Na przełomie XVII/XVIII wieku kompleks poddano modernizacji. Korzystając z materiałów uzyskanych ze starych obiektów zbudowano barokowy klasztor połączony z kościołem Narodzenia Najświętszej Marii Panny.
Trójnawowa świątynia została wyposażona w barokowe i rokokowe ołtarze i ambonę. Budynek klasztorny składał się z trzech skrzydeł, które wraz z kościołem otaczał wirydarz z krużgankami. Całość otoczono wysokim murem z dwoma bramami prowadzącymi do kościoła i klasztoru. Franciszkanie użytkowali budynki do kasaty zakonu w 1835 r., po nich przez krótki czas gospodarzami byli jezuici. Od 1840 r. do 1916 r. mieściła się tutaj szkoła powszechna.
Obecnie w zabytkowych budynkach klasztornych funkcjonuje Społeczne Ognisko Muzyczne i Centrum Profilaktyki i Alternatyw Młodzieżowych. Kościół i klasztor są również elementami ścieżki turystycznej prowadzącej ulicami Śremu.