Wiek XIX był okresem intensywnego rozwoju niemieckich stowarzyszeń kulturalno-społecznych na ziemiach zaboru pruskiego. Również w Bydgoszczy społeczność niemiecka rozwijała swoje organizacje.
W 1885 r. doszło tu do połączenia dwóch znaczących stowarzyszeń: Towarzystwa Wypoczynkowego i Towarzystwa "Kasyno Cywilne". Powstała nowa organizacja, która przyjęła nazwę Kasynowe Towarzystwo „Wypoczynek” w Bydgoszczy. Dla towarzystwa tego zbudowana została nowa siedziba przy ulicy Gdańskiej. Klasycyzujący budynek zaprojektowany przez Gustawa Reicherta został sfinansowany z budżetu państwa pruskiego. W 1908 r. dobudowano skrzydło od południa mieszczące m.in. kręgielnię. Niemieckie organizacje korzystały z budynku do 1945 r.
Po zakończeniu wojny obiekt otrzymali w użytkowanie artyści z Okręgu Pomorskiego Polskiego Związku Artystów Plastyków, dzięki którym w 1946 r. otwarto tutaj Pomorski Dom Sztuki. Od 1972 r. mieściła się tu również scena kameralna Opery Novej. W ostatnich latach trwa remont budynku, który w 2006 r. przejęła Akademia Muzyczna im. Feliksa Nowowiejskiego w Bydgoszczy.