Budynek filharmonii powstawał w latach 1955-1965. Do użytku oddano go we wrześniu 1965 roku. Postawiono go w miejscu, gdzie przed wojną mieściła się synagoga zniszczona przez Niemców w czasie II wojny światowej. Gmach został rozbudowany i wyremontowany z funduszy unijnych.
Przez wiele lat orkiestra funkcjonowała przy ulicy Dąbrowskiego. Filharmonia organizuje liczne festiwale, między innymi Międzynarodowy Festiwal Wiolinistyczny im. Bronisława Hubermana.