Zamek Lipowiec wznosi się na wysokim skalnym grzbiecie Garbu Tenczyńskiego wysuniętym na zachód od Wyżyny Krakowskiej. Pierwsze umocnienia powstały tu prawdopodobnie na długo przed zamkiem. Gród został następnie przebudowany na drewniany zameczek z inicjatywy Konrada Mazowieckiego. Poważniejszego znaczenia obronnego nabrał zamek po zdobyciu władzy przez Bolesława Wstydliwego, który w 1243 roku polecił biskupowi Prandocie wznieść tu strażnicę w celu ochrony granicy państwa.
Zamek pozostawał dobrem biskupim a w 1295 roku stał się własnością biskupa Jana Muskaty. Za jego panowania znacznie rozbudowano pierwotne założenie. Wówczas wzniesiono pierwsze elementy murowane, między innymi wieżę. Wieża oprócz roli obronnej spełniała też funkcję więzienia dla skazanych na śmierć głodową, których opuszczano na dno głębokiego lochu. Biskup był stronnikiem księcia czeskiego Wacława II, który rościł pretensje do korony polskiej, korona jednak została w posiadaniu Władysława Łokietka, a Muskata musiał się schronić w lipowieckim zamku.
W 1655 roku zamek zajęli Szwedzi, którzy przeznaczyli go na mieszkanie gubernatora Krakowa, generała Paula Wirtza. Po dwóch latach wycofując się Szwedzi spalili zabudowania. Odbudowy podjął się w roku 1732 biskup Konstanty Szaniawski, w 1754 roku ukończył ją biskup Andrzej Załuski. Zamek nie mający już znaczenia militarnego znów zaczął pełnić rolę więzienia, tym razem jednak już nie tak rygorystycznego. Dom poprawy i rekolekcji organizował specjalne seminarium dla więzionych tu duchownych.
W 1789 roku zamek w Babicach został zajęty przez wojska austriackie, co zakończyło długą historię istniejącego tu więzienia. Przez kolejne 60 lat zamek był zamieszkały nawet mimo pożaru z 1800 roku, który uszkodził dość znacznie zabudowania. Całkowicie wtedy spłonęły dachy oraz stropy pomieszczeń na najwyższej kondygnacji.
Zamek pozostał zamieszkały do połowy XIX wieku. W czasie powstania styczniowego w 1863 roku chronił się tu oddział generała Mariana Langiewicza.
Obecnie po pracach konserwatorskich z lat 1961-1968 Lipowiec jako trwała ruina udostępniony jest dla zwiedzających.