Jej początki sięgają XIV w., kiedy jako trakt biegła od przeprawy przez Wisłę i od Starej Warszawy do wsi Wielka Wola. Wtedy też na początku traktu utworzył się długi przedmiejski plac postojowo-targowy sięgający od Nowomiejskiej poza Miodową – jego kształt zachowała do dziś szeroka część Długiej. Wzdłuż tegoż właśnie placu zabudowało się przedmieście Starej Warszawy. Wówczas ulicę nazywano również Szeroką od dość znacznej szerokości placu.
W XVI w. przy Długiej wybudowano browary, dwory szlacheckie, u Baryczków mieściła się giełda kupiecka i kwatery cudzoziemców. W 1621 r. ulica została przecięta wałem obronnym, w którego bastionie król Władysław IV w latach 1638-43 kazał wybudować Arsenał Rzeczypospolitej, przed którym ulica rozszerzyła się w placyk. W pierwszej połowie XVII w. nazywano ją Błońską, jako że była drogą prowadzącą do Błonia.
Po zniszczeniach potopu szwedzkiego odbudowane zostały dwory i powstały nowe budowle sakralne: w 1681 r. wzniesiono kościół Pijarów o dwuwieżowej fasadzie z klasztorem, przy końcu ulicy przed Arsenałem barokowy kościół i klasztor Brygidek, a dziesięć lat później obszerny konwikt (szkołę) Teatynów z kaplicą i klasztor Paulinów.
XVIII w. to czas, kiedy powstawały: kamienica Witthoffów (wzniesiona na miejscu Pałacu Radziwiłłów, nr 7), Pałac Załuskich „Pod Czterema Wiatrami”, Pałacyk Radziwiłłowej, monumentalna kamienica „Potkańskie”, kamienica Lelewelów i komora celna, zaś kościół Pijarów uzyskał nową fasadę. Pod koniec stulecia Pałac „Pod Czterema Wiatrami” został przebudowany na siedzibę bankiera Fergussona-Teppera, a kamienica Witthoffów na Pałac marszałka Raczyńskiego. Wzniesiony został także (1779 – arch. B. Solari) zespół budowli Teatru Narodowego na Placu Krasińskich.
W latach 1796-1806 ulica otrzymała – od mieszczącego się tu na rogu Nalewek targu na siano – nowe miano: Sienna. W czasach Księstwa Warszawskiego i Królestwa Kongresowego stała się ulicą hoteli. Około 1818 r. Arsenał został przebudowany w szacie surowego klasycyzmu, a sąsiednie kościół i klasztor Brygidek zostały przerobione na warsztaty artyleryjskie. W ogrodzie Pałacu „Pod Czterema Wiatrami”, należącym do kupca Dückerta, w 1827 r. utworzono Instytut Wód Mineralnych. Po powstaniu listopadowym Arsenał zamieniono na więzienie, a kościół Pijarów przebudowano na sobór św. Trójcy.
Długa charakter ruchliwej ulicy targowej z licznymi sklepami zachowała przez cały XIX w. W 1900 r. na miejscu rozebranych warsztatów artyleryjskich wzniesiono ogromny pięciopiętrowy Pasaż Simonsa. W dwudziestoleciu międzywojennym przywrócono barokowy kształt dawnemu kościołowi Pijarów, Pałac Dückerta adaptowano na siedzibę Ministerstwa Opieki Społecznej, zaś Pałac Raczyńskich na pomieszczenia Ministerstwa Sprawiedliwości. We wrześniu 1939 r. spłonęły Pasaż Simonsa oraz zabytkowe kamienice naprzeciw Arsenału. Ulica podczas powstania warszawskiego, kiedy to była miejscem zaciekłych walk, m.in. o Arsenał, zniszczona została prawie całkowicie. Po wojnie w latach 50. odbudowano zabytkowe obiekty.