Historia zespół dworskiego Kamienny Dwór sięga czasów kiedy to majątek ziemski znajdował się we wsi Wólka Pietkowska, należący do dóbr Pietkowo, którego właścicielami w wieku XVIII była rodzina Kuczyńskich, a na przełomie XVIII/XIX w. przeszły w ręce rodu Starzeńskich.
W latach 1807-1915 przez majątek ziemski przebiegała granica. Wólka Pietkowska i Pietkowo leżały w dwóch różnych państwach, co utrudniało gospodarowanie. Dlatego też Wólka Pietkowska została sprzedana, i utworzony został odrębny majątek ziemski. Na początku XX w. dobra ziemskie były własnością rodziny Kosińskich. Ze względu na zadłużenie w 1932 r. zostały przejęte przez Bank Włościański. W 1935 r. zostały wystawiony na licytację, majątek kupili legioniści Piłsudskiego z tzw. „groszówek” czyli dobrowolnych odpisów z rent i emerytur legionistów dla Aleksandry Piłsudskiej wdowy po marszałku Józefie Piłsudskim i dzieci Jadwigi i Wandy Piłsudskich. Administrowanie majątkiem zostało powierzone Aleksandrowi Zintowi - dawnemu oficerowi I Brygady Legionów, towarzyszowi broni Marszałka.
W tym okresie został wybudowany pałac, który był zwany Kamiennym Dworem, nowa obora, oraz został założony 10 ha. W skład zespołu dworskiego wchodziły ponadto dwór z połowy XIX w., lamus z XVIII w i budynki gospodarcze. Kamienny dwór z portykiem kolumnowym, został wybudowany w stylu dworkowym w duchu modernizmu. Został pokryty czterospadowym dachem. Całość jest otoczona parkiem.
W majątku Kamienny Dwór bardzo często przebywała Aleksandra Piłsudska wraz z córkami. Utrzymywała ona bardzo dobre stosunki z pobliskimi dworami ziemiańskimi. Po wkroczeniu Armii Czerwonej 17 września 1939 r. został przejęty przez Sowietów i przekształcony na sowchoz. W latach 1941-44 majątek został zajęty przez Niemców i zarządzany przez Wschodniopruskie Towarzystwo Rolnicze.
Po zakończeniu drugiej wojny światowej dobra zostały upaństwowione i utworzono w nich Państwowe Gospodarstwo Rolne. Obecnie Kamienny Dwór jest to samodzielną wsią.