Kazimierz Sprawiedliwy w 1181 roku podarował zakonowi norbertanek wzgórze położone w okolicach przeprawy przez Wisłę. Właśnie jemu zawdzięczamy założenie miasta i jego nazwę. Swój rozwój miasto zawdzięcza lokalizacji nad Wisłą, w miejscu przeprawy znajdującej się na skrzyżowaniu szlaków handlowych. Miasto zostało zniszczone w 1561 roku na skutek pożaru. Odbudowane zostało w stylu renesansowym. Niestety, z tego okresu zachowały się tylko dwie kamienice na rynku, które należały do dwóch braci Przybyłów.
Do głównych zabytków miasta należy fara - pomiędzy rynkiem a zamkiem. Perełkami architektury są również trzy kaplice z pierwszej połowy XVI wieku: Borkowskich, Górskich i Różańcowa. Wspaniałym punktem widokowym jest Góra Trzech Krzyży wzniesionych na pamiątkę zarazy panującej w mieście na początku XVIII wieku. Drugim punktem widokowym jest miejsce przy kościele i klasztorze Reformatów, do którego prowadzą 300-letnie schody. Niedaleko miasta podziwiać możemy sieć wąwozów, która uważana jest za najgęstszą w Polsce.