Teren dzisiejszego Annowa należał przez wieki do dóbr wsi Gruta dzieląc ich losy. Dopiero w 1784 r. po powstaniu na nieużytkowanych długi czas gruntach nowych folwarków wydzielono między innymi Annaberg, nazwany tak na cześć Anny, żony nowego właściciela, Jana Gottlieba Müllera. Pobudował on murowany dwór i założył wokół niego park z niewielkim stawem. Na tyłach dworu powstały zabudowania gospodarcze.
W XIX w. majątek obejmujący ponad 400 ha kilkakrotnie zmieniał właścicieli; w 1945 r. była to rodzina Wannow. Nowe władze nie utworzyły w Annowie PGR-u, lecz rozparcelowały grunty. Nieużywane budynki folwarczne rozebrano, dwór przeznaczono na mieszkania – tę funkcję pełni do dziś.
Dwór jest późnoklasycystyczną, prostokątną budowlą o jednej kondygnacji i użytkowym poddaszu. Do południowej fasady dobudowano przeszkloną werandę, do północnej, na poziomie poddasza taras wsparty na murowanych słupach. Część parku krajobrazowego została wykarczowana; w istniejącym fragmencie zachowały się pozostałości cmentarza właścicieli majątku.