Kazimierz to mała wieś, ale początkowo będąca miastem, któremu nadano prawa miejskie ok. 1218 roku jako osadzie, a które to straciło przez zniszczenie go przez husytów. Jednak dzisiejsza wieś Kazimierz przez około 200 lat była miastem, lecz nie nosiła od początku nazwę Kazimierz, a Jarosław. Dopiero po objęciu rządów przez księcia Kazimierza, nastąpiło oficjalne nadanie miastu nazwy Kazimierz. To, że dzisiejsza wieś Kazimierz była w dawnych czasach miastem, potwierdza jedyny istniejący dziś na to dowód-pieczęć ławy sądowej z XIV wieku.
Dziś na terenie wsi jedynym zabytkiem pozostaje w pełni chyba kościół pw. Wniebowstąpienia Najświętszej Maryi Panny. Mimo, iż budynek miejscowego pałacu z jego zabudowaniami pomocniczymi jest wpisany do rejestru zabytków, to patrząc na jego bryłę raczej trudno go zaliczyć do zabytku, z uwagi na jego właściwie zrujnowanie, chociaż nie do końca...
Z dostępnych informacji wynika, iż właścicielem pałacu mógł być Fryderyk (Friedrich) Wilhelm Bernard von Prittwitz z Grobnik, położonych niedaleko Głubczyc. Wynika to z tego, iz w związku z sekularyzacją klasztorów na terenie ówczesnych Prus, w roku 1811 ( w tym na terenie Dolnego i Górnego Śląska) von Prittwitz nabył Kazimierz jako majątek rycerski po cystersach. Później przejmowali go jego potomkowie, do roku 1929, kiedy ostatni z von Prittwitzów sprzedał pałac. Tak więc istniejący jeszcze obecnie pałac mógł zostać zbudowany w początkach XIX wieku.
Jest to budynek murowany z cegły, pierwotnie otynkowany w całości lub częściowo (trudno dziś to stwierdzić, gdyż tynk właściwie odpadł), zbudowany na planie zbliżonym do prostokąta, podpiwniczony, o trzech kondygnacjach, przekryty dwupołaciowym dachem pokrytym jeszcze dawną ceramiczną, wypalaną dachówką typu “karpiówka”.
Przyglądając się bryle w jej obecnym stanie, można jeszcze zauważyć gdzieniegdzie detale, m.in. neogotyckie sterczyny, fryz arkadowy, otwory okienne, w których widoczne są jeszcze ostre łuki (prawe skrzydło względem patrzącego), wysunięty w centralnej części bryły przed lico muru ryzalit z otworem wejściowym zwieńczonym “lekkim” ostrym łukiem. W prawym skrzydle widoczne jest jeszcze tzw. boniowanie. W elewacji bocznej trzyma się jeszcze konstrukcji tamtejszej ściany wykusz podparty kolumnami, zwieńczony płytą balkonową z jeszcze widoczną (chyba nawet w całości) murowaną balustradą i ścianka szczytowa, otoczona wieżyczkami stylizowanymi coś na fragment dawnego zamku obronnego, spełniająca w XIX wieku rolę ozdoby, niż części obronnej budowli.
Pałac w swej późniejszej historii nie miał szczęścia do właścicieli. W 1929 roku ostatni właściciele rodowi z tutejszych von Prittwitzów, sprzedali posiadłość Śląskiemu Towarzystwu Ziemskiemu w Opolu, ale sam pałac kupiła od nich gmina Kazimierz urządzając w nim przedszkole, biura i mieszkania. Dewastacja budowli nastąpiła po 1945 roku, kiedy dawny majątek przejęły ówczesne władze gminne. Na terenach dawnego majątku von Prittwitzów, a wcześniej cystersów, utworzono gospodarstwo rolne, zaś w pałacu urządzono sklepy, gospodę, magazyn paszy, węgla i nawozów sztucznych. Doprowadzając budowlę na skraj ruiny (opuszczono ją w 1990 roku) ówczesne władze gminy przekazały pałac osobie prywatnej jako rekompensatę za tzw. “mienie zabużańskie”, co oczywiście okazało się wielką pomyłką, bo nowy właściciel nie podjął żadnych prac remontowych.
Wreszcie po długim procesie sądowym, w 2005 roku gmina Głogówek odzyskała budynek. Niestety, od tego czasu nie znalazł się chętny na kupno tej ciekawej budowli, mimo, iż została ona zabezpieczona przed wejściem, a teren wokół niej (któryma dość sporą powierzchnię)- uporządkowany. Jednak dla opisywanej budowli rozpoczęło się nieco przyspieszone odmierzanie czasu, dosłowne “cyk, cyk, cyk, cyk....”, jak w zegarze, a gdy czas przestanie być odmierzany, tego budynku może już nie być na terenie Kazimierza, dawnego miasta górnośląskiego i gdyby nie zawirowania w początkach jego historii, mógłby dziś być jednym z najstarszych miast śląskich, starszym nawet od pobliskiego Głogówka, może będącym dumny z opisanego wyżej pałacu...