Pierwsze historyczne wzmianki o miejscowości Borowie sięgają XVI w. w ten czas była notowana pod nazwą osada Jastrzębie i była własnością rodu Warszewickich. Z inicjatywy dziedzica Jana Warszewickiego w dniu 21 stycznia 1548 r. osada Jastrzębie otrzymała akt lokacyjny na prawie niemieckim i uzyskała nazwę Borowie. Zgodnie z aktem lokacyjnym w mieście Borowie mogły się odbywać trzy jarmarki rocznie i jeden targ tygodniowo oraz zwolnienie z podatków przez 20 lat. W XVII w. majątek ziemski był własnością rodziny Radzymińskich, a od początku XIX w., należał do Kazimierza Chlebowskiego, a następnie w 1815 r. przeszedł w ręce Ludwiki w Załuskich Moszyńskiej.
W tym okresie został wybudowany murowany dwór na palnie prostokąta z portykiem na osi elewacji południowej i wschodniej. W okresie międzywojennym dobra ziemskie były własnością rodziny Jóźwickich, a następnie rodziny Popławskich. W 1946 r. dwór został przejęty przez władze komunistyczne Polski Ludowej, był przebudowany i adaptowany na Urząd Gminy, który mieści się do dnia dzisiejszego.