Twierdza zbuntowanego biskupa
W XIII w. Bolesław Wstydliwy nakazał biskupowi krakowskiemu Janowi Prandocie wznieść na wysokim nadwiślańskim wzgórzu (362 m n.p.m.) zamek. Budowla miała chronić przed zagrożeniem ze strony księstw śląskich. Najpierw postawiono wieżę pełniącą funkcję stołpu. Wysoka na kilkanaście metrów, z 2,5-metrowej grubości murami miała być ostatnim punktem obrony. Potem dobudowano pierwotnie drewniane, a w XIV w. kamienne obwałowania z basztami i potężną bramą od wschodu.
W 1308 r. schronił się tu biskup krakowski Jan Muskata, który musiał uciec z Krakowa po nieudanej próbie wzniecenia powstania mieszczan przeciwko Władysławowi Łokietkowi. Do połowy XV w. zamek Lipowiec był rezydencją biskupów krakowskich. Po przeprowadzce purpuratów do Siewierza urządzono w nim więzienie dla odszczepieńców, heretyków i zbuntowanych księży.
W XVII w. dobre czasy dla twierdzy skończyły się - pożar, potop szwedzki i kolejny pożar, pomimo kilkakrotnej odbudowy, doprowadziły to ciekawe miejsce do ruiny. Dzisiaj można wejść na wieżę, by z wysoka zobaczyć dolinę Wisły i chronioną w rezerwacie "Lipowiec" buczynę porastającą wzgórze zamkowe.