Stały garnizon wojskowy w Bydgoszczy ustanowili Prusacy w 1772 r. po pierwszym rozbiorze Rzeczypospolitej. W następnych latach zbudowano obiekty garnizonowe, które z biegiem czasu powiększano. W 1847 r. w mieście lokowano 4 Dywizję Piechoty w składzie 4 Brygady Piechoty i 1 Brygady Kawalerii.
Dla rozrastającego się garnizonu w drugiej połowie XIX w. zbudowano nowe obiekty. Przy dzisiejszej ul. Adama Czartoryskiego wzniesiono w 1860 r. klasycystyczną willę z przylegającym do niej parkiem-ogrodem w stylu angielskim. Budynek przeznaczono na siedzibę sztabu dywizji piechoty i komendy garnizonu. Willę powiększono w 1877 r. Po odzyskaniu niepodległości w 1918 r. willa przy ulicy Czartoryskiego znalazła się we władaniu Wojska Polskiego. Do 1939 r. mieścił się w niej sztab 15 Dywizji Piechoty.
Obecnie klasycystyczny budynek należy do Izby Skarbowej w Bydgoszczy, która prowadzi tu Ośrodek Szkoleniowo-Usługowy.