Na prawym brzegu rzeki Białki istniał kiedyś zamek królewski. Znajdował się na północ od skarpy, na której było miasto. Według przekazów Janka z Czarnkowa zamek wzniósł Kazimierz Wielki podczas zmiany lokalizacji miasta, które niegdyś znajdowało się razem z grodem na terenie obecnej wsi Staromieście. Działo się to w pierwszej połowie XIV wieku.
Zamek stał na wzgórzu gdzie obecnie jest cmentarz. Prawdopodobnie miał wieżę, wzniesiony był na planie regularnym. W ciągu wieków XV-XVII uległ zapewne pożarom razem z miastem. Lustracja z 1662 roku opisuje zamek jako niszczony i opustoszały, później został przez starostę M. Rupniewskiego odbudowany. W 1789 roku w zamku mieściła się kancelaria starościńska, ale już na początku wieku XIX zamek był ruiną, którą rozebrano w latach 1804-1805.
Zamek zamieszkiwany był do XVIII wieku. W 1805 r. został rozebrany, a materiał budowlany wykorzystano do budowy murów otaczających cmentarz.