Park powstał w latach 1903-1910 i przybrał charakter parku krajobrazowo-naturalistycznego. Następnie jego część zaadaptowano na park miejski.
Rosną tu wspaniałe okazy unikalnych drzew i krzewów, m.in.: miłorzęb dwuklapkowy, cypryśnik błotny, kasztan jadalny, modrzewik chiński, limba, jodła, dęby. Największą ozdobą Parku Szwedzkiego są dwa niewielkie stawy, gdzie pływają łabędzie i dzikie kaczki, i gdzie tryska mała fontanna.