Parterowy, wysoko podpiwniczony dwór bez wyraźnego charakteru, pochodzący zapewne jeszcze z XVIII wieku, a rozbudowywany i przebudowany w następnym stuleciu i w 1937 roku - w rezultacie bezkształtny.
Żydowo pojawia się w dokumentach co najmniej od XIV wieku. W XVI wieku własność Żydowskich, między innymi Andrzeja i Jakuba. W wieku XVIII miejscowość należała do Smoleńskich, między innymi Andrzeja Piotra, cześnika ciechanowskiego, oraz Stanisława, któremu w 1752 roku król August III Sas zezwolił założyć tu miasto. W 1793 roku własność szambelana Adama Bielskiego. Od początku XIX wieku właścicielami miejscowości byli Chełmiccy, którymi pozostali aż do XX wieku.
W1939 roku Żydowo należało do spadkobierców po Stanisławie Chełmickim. Majątek w 1926 roku liczył 987 hektarów. W dworze mieści się siedziba gospodarstwa rolnego. Część pomieszczeń jest wynajmowana.