Założony w 1867 r. nazywany był "Nowym Ogrodem", następnie Ogrodem Saskim. Pierwotnie miał to być symetryczny ogród angielski. Na jego potrzeby zajęto teren siedmiu hektarów. wzbogacono go o sztucznie usypane wzgórze, na którym stanęły romantyczne ruiny wieży zamkowej. Cały park ogrodzono ozdobnymi kutymi i żeliwnymi przęsłami.
W latach 60-tych XX w. rozebrano ogrodzenie i zburzono wieżę. W części południowej parku w latach 20-tych XX w. wzniesiono żelbetonową altanę. Uważa się ją za pierwszą budowlę o tej konstrukcji w Radomiu. Przy głównej alei ks. biskupa Jana Chrapka znajduje się popiersie Fryderyka Chopina, dłuta Władysława Jani, a po przeciwnej stronie alei w latach 50-tych XX w. wybudowano muszlę koncertową, która spłonęła 30 lat później. Przy wejściu od strony ul. H. Sienkiewicza znajduje się płyta upamiętniająca Insurekcję Kościuszkowską. W 1916 r. park otrzymał imię Tadeusza Kościuszki. Drzewostan parkowy stanowią głównie lipy, kasztanowce, sosna wejmutka, dąb czerwony.
W 2010 roku przeprowadzono rewitalizację parku. Polegała ona głównie na wycince pielęgnacyjnej, odnowieniu trawników, zasadzeniu nowych drzew i krzewów oraz wymianie nawierzchni alejek. Powstało również nowe oświetlenie, plac zabaw, ruina wieży i górka saneczkowa. Zmieniono również usytuowanie rzeźby Fryderyka Chopina.