Niemal od chwili jego wybudowania w latach 40. XIX w. pałac w Patrykozach budził zdziwienie, najczęściej pomieszane z zachwytem. Bo też siedziba wystawiona dla Teodora Szydłowskiego, byłego generała wojsk polskich, nie miała i nie ma podobnych sobie. Szukając podobieństw, trzeba by chyba wskazać pałac z Disneylandu - chociaż fantazja Patrykoz przerasta nawet kompozycję rodem z bajki. Neogotycki pałacyk ma tak zróżnicowaną bryłę, że z każdej strony wygląda inaczej. Malowniczości przydają mu szczyty, półszczyty, sterczyny oraz dwie galerie od południa. Nawet okna mają najróżniejsze kształty, nie mówiąc już o rozmiarach. Za czasów Szydłowskiego wyjątkowość posiadłości nie ograniczała się wyłącznie do pałacu. W "Tygodniku Ilustrowanym" z 1866 r. pisano "(...)Wszędzie znać chęć odznaczania się oryginalnością i fantazją. Kurniki, drwalnie, pałac gotycki z wieżą i mostami, parkany, mostki, każdy tam w innym stylu i guście często w szczegółach dziwaczne, całość jednakże z powodu rozmaitości i rzeczywistego smaku, jest bardzo powabną".
Według podań pod pałacem rozciągają się lochy, w których mieściła się czarnoksięska pracownia mistrza Twardowskiego. W chwilach wolnych od alchemicznych prac w pobliskim Węgrowie czarnoksiężnik próbował stworzyć sztucznego człowieka - homunkulusa. Doświadczenie zakończyło się jedynie połowicznym sukcesem; do dziś w bezksiężycowe noce po okolicy krąży potwór z ciałem kozła i głową koguta. Czasami można usłyszeć jego przeraźliwy skrzek. Niektórzy twierdzą, że w ten sposób zjawa ostrzega przed nieszczęściem. Ponoć ostatni raz słyszano ją w 1999 r., na krótko przed zawaleniem się pałacowej wieży - do niedawna pałac przypominał ruinę z filmu grozy. Jego obecni właściciele podjęli trud odbudowy nieszablonowej budowli.