Miłosław to miasto o średniowiecznym rodowodzie, chociaż na jego terenie nie zachowały się zabytki z tamtego czasu. Najstarszym obiektem jest kościół św. Jakuba w około 1620 r., ale obecną formę otrzymał w 1845 r. Zabudowa historycznego układu urbanistycznego pochodzi z XIX i pierwszej połowy XX wieku.
Do najstarszych domów mieszkalnych Miłosławia należy budynek przy ulicy Zamkowej 20 wzniesiony w 1868 r. Jest to parterowy, pięcioosiowy dom z centralnie umieszczonym wejściem. Z dwuspadowego dachu krytego dachówką wybiega trzyosiowa wystawka. Część parteru zaadaptowano na cele handlowe.
Budynek przy ulicy Zamkowej 20 wpisano do rejestru zabytków 1 grudnia 1983 r. decyzją 1915/A. W ewidencji NID nadano mu identyfikator 657235.