Klasztor został wzniesiony przez bernardynów. Jest to barokowy obiekt zbudowany w latach 1664 – 1665. Klasztor jest budynkiem czworobocznym z wewnętrznym ogrodem ( wirydarzem ), murowanym, otynkowanym i nakryty dwuspadowymi dachami. Elewacje klasztoru podzielone są poziomymi pasami muru wystającymi poza lico ścian. Teren klasztoru otoczony jest ceglanym murem. Do klasztoru przylega kościół św. Jerzego i św. Wojciecha. 29.11.1965 r. Klasztor został wpisany do rejestru zabytków.
W roku 1810 gdy hrabstwem kłodzkim zarządzali Prusacy w pomieszczeniach klasztornych urządzono biura pruskiego garnizonu, mieszkania dla oficerów oraz szpital. Po zakończeniu II wojny światowej do klasztoru wprowadziły się franciszkanki a następnie mniszki klaryski od wiecznej Adoracji.