Piętrowy dwór z bocznymi ryzalitami, poprzedzony murowanym gankiem, zbudowano w latach 1899-1905 dla ówczesnego właściciela dóbr Franza Guenthera. W 1939 roku właścicielką Grzybna była Niemka Johanna von Guenther. W 1926 roku majątek liczył 381 hektarów. Obecnie w budynku mieści się Zespół Szkół Rolniczych.