Dawniej, gdy w Kołbaczu istniał trójskrzydłowy klasztor cysterski, a było to na początku XIII w. dom konwersów był jego zachodnim skrzydłem. Służył on braciom zakonnym bez święceń kapłańskich czyli konwersom, którzy zajmowali się głównie pracą fizyczną w
klasztorze. Zabytek, odbudowany w latach siedemdziesiątych XX wieku, przeznaczony został na cele kulturalne.