Historia wsi Lipnica Dolna zaczyna się 24 sierpnia 1369 roku. Taką właśnie datę nosi dokument podpisany przez króla Kazimierza Wielkiego, powierzający Mikołajowi z Nysy założenie wsi. Na początku była to prawdopodobnie wieś królewska. Następnie właścicielami wsi byli benedyktyni z podkrakowskiego Tyńca. W rękach kościoła wieś pozostawała do 1772, kiedy to została przejęta przez rząd austriacki i wystawiona na sprzedaż. Część wsi stała się własnością rodziny Rylskich, która w 1781 roku wybudowała drewniany dwór.
Budynek dworu został wybudowany z drewna modrzewiowego. W trakcie swego istnienia był kilkakrotnie przebudowywany. Jest to budynek parterowy z poddaszem, typowy dla mniej zamożnej szlachty. Wnętrze składa się z holu, pięciu pomieszczeń mieszkalnych, kuchni, łazienki i pomieszczenia dla służby. Do budynku wchodzi się przez duży ganek, bogato zdobiony roślinnymi ornamentami. Dwór otoczony jest pozostałościami dawnego parku. Wśród zachowanych do dziś drzew są cztery pomniki przyrody.
W czasie II wojny światowej w dworze mieszkał architekt Eustachy Chmielewski herbu Jastrzębiec, przedstawiciel polskiego modernizmu, znany z projektów m.in. pierwszego wieżowca wybudowanego w porozbiorowej Polsce, czyli Domu profesorów Śląskich Technicznych Zakładów Naukowych w Katowicach, czy też kościoła w Bączalu Dolnym. Prywatnie Chmielewski był mężem spadkobierczyni majątku Rylskich - Marii Ścibor-Rylskiej herbu Ostoja.
Po wojnie dwór został przejęty przez państwo a następnie gminę w Brzyskach. Przez lata nieremontowany popadł w ruinę, podobnie jak otaczający go park. W miejscu dawnego stawu powstało boisko piłkarskie. W 2016 roku, po trwającym 10 lat procesie, dwór został odzyskany przez synów Marii i Eustachego Chmielewskich.