Miasto od schyłku XVI do początku XIX w. stanowiło część olbrzymiej fortuny nieświeskiej linii rodu Radziwiłłów. Nazywane było Białą Radziwiłłowską, a nawet Alba ducalis, czyli Białą Książęcą.
Drugi ordynat nieświeski, Aleksander Ludwik Radziwiłł, wzniósł w Białej po 1622 r. niezwykle okazałą rezydencję, zaliczaną do najwspanialszych w Rzeczypospolitej doby Wazów. Było to założenie pałacowo-obronne otoczone wałami ziemnymi z bastionami powstałymi według nowoczesnych wówczas wzorów holenderskiej sztuki fortyfikacji. Projektantem budowli był Paweł Negroni, włoski architekt zadomowiony i działający w tamtym okresie w Lublinie. Obiekt inspirował twórców innych słynnych rezydencji w siedemnastowiecznej Polsce. Uważa się, że rozwinięciem bialskiego projektu jest m.in. pałac biskupi w Kielcach.
Kres świetności bialskiej rezydencji zbiegł się z upadkiem Rzeczypospolitej i bezpotomną śmiercią ostatniego "radziwiłłowskiego" właściciela Białej - księcia Dominika. Na skutek koligacji rodowych pałac przeszedł w ręce niemieckie. Jego ruiny, w 1883 r. sprzedane bialskim Żydom, zostały prawie w całości rozebrane. Ocalały dwa pawilony, kaplica, wieża bramna i brama wjazdowa. Miejscami czytelne są także fragmenty dawnych obwarowań bastionowych, położone wśród drzew otaczającego pałacowe pozostałości Parku Radziwiłłowskiego.
W wieży bramnej znajduje się Muzeum Południowego Podlasia, które warto zobaczyć. Oprócz typowych dla regionalnych muzeów działów: archeologicznego i etnograficznego, jest tu bardzo interesująca kolekcja numizmatów. Można też zobaczyć jeden z najbogatszych w Polsce zbiorów ikon, wśród których najstarsze pochodzą z XVII w. Muzeum jest też ciekawym miejscem dla miłośników tzw. malarstwa nieprofesjonalnego, ze względu na ekspozycję prac Bazylego Albiczuka, zwanego podlaskim Nikiforem.