Biskup Stefan Wierzbowski w 1666 r. kupił od braci Górskich zniszczoną w czasie potopu szwedzkiego wieś Górę. Zaplanował miasto na planie krzyża ze specjalnie usypanym wzgórzem - Kalwarią, do którego prowadziło 26 stacji Męki Pańskiej (zachowały się 3). Chciał przemianować Górę na Nową Jerozolimę i dlatego wielu obiektom nadał charakterystyczne, istniejące do dziś nazwy, np. Betlejem - dzisiejszy Dom Pomocy Społecznej, Syjon - wzgórze, gdzie dawniej było kolegium pijarskie, Kaplica Piłata - kościółek na przecięciu ramion krzyża.
Miasto, które miało być przeznaczone wyłącznie dla katolików, stało się w XIX w. silnym ośrodkiem chasydyzmu. Mieszkała tu szanowana dynastia cadyków Alterów. W Górze Kalwarii zachowało się wiele pożydowskich zabytków (m.in. kirkut - cmentarz żydowski, synagoga i dawny dwór cadyka).
Ciekawymi obiektami w mieście, które warto zobaczyć są ustawione w szeregu jatki miejskie z 1836 r., w których handlowano mięsem. Ponadto można tu obejrzeć kilka kościołów, dawne kolegium pijarów oraz ratusz miejski. W 1991 r. Góra Kalwaria została wpisana do rejestru zabytków.