Miasto zostało założone w 1661 r. przez Krzysztofa Unruga pochodzącego z rodziny wywodzącej się ze Szwabii, która po objęciu dóbr międzychodzkich zmieniła nazwisko z Unruh na Unrug i aktywnie włączyła się w polskie życie polityczne (Krzysztof, choć ewangelik, blisko współpracował z Władysławem IV i Janem Kazimierzem).
Układ przestrzenny Kargowej to kilka prostokątnych uliczek oraz rynek - dawny plac targowy (na nim ratusz z XVII w.) i tzw. nowy rynek (pl. Berwińskiego). Zachowało się sporo starych domów o charakterze małomiasteczkowym, a pamiątką po dwóch mieszkających tu nacjach są neogotycki kościół parafialny z 1892 r. i kościół poewangelicki z drugiej połowy XVIII w.
Na północny wschód od centrum miasta, na nieco wyższym terenie, stoi pałac barokowy z lat 1731-1732 (architekt Jan Krzysztof Knöffel), wzniesiony na polecenie króla Augusta II Mocnego. W czasach panowania dynastii Wettynów w Polsce, dla sprawnej komunikacji pomiędzy stolicami w Warszawie i Dreźnie utrzymywano dwa trakty. Jeden z nich wiódł przez Kargową. Regularnie kursowali nim kurierzy z pocztą, jeździł także sam władca ze swoim dworem. Mimo, na owe czasy, doskonałej organizacji podróży, zajmowała ona 6-10 dni. Jednym z przystanków na trakcie był właśnie pałac w Kargowej. Zażywali tu wywczasów August II i jego syn August III.
W przypałacowym parku warto zwrócić uwagę na starą aleję lipową, szpalery grabowe i najgrubszy wielkopolski buk o obwodzie 700 cm.
Gdy dokonywał się drugi rozbiór Polski, 27 stycznia 1793 r. do Kargowej przybył 600-osobowy oddział pruski. W mieście stacjonował dziesięciokrotnie mniejszy garnizon polski. Jego dowódca, kapitan Kazimierz Więckowski, zginął przy próbie zatrzymania dowódcy Prusaków. Żołnierze polscy przez godzinę bronili się w ratuszu. Dla upamiętnienia owego wydarzenia mieszkańcy przez kilkadziesiąt lat nie usuwali śladów kul ze ścian budynku. Niezwykłe jest to, że opór Prusakom stawiono tylko w Sierakowie koło Rawicza i właśnie w Kargowej. Wspomnianego kapitana uczczono tablicami na ratuszu i w kościele w pobliskiej Kopanicy.