Na mocy traktatu toruńskiego z 1466 r., Warmia przeszła pod opiekę króla polskiego. W tym okresie częstym gościem był tu Mikołaj Kopernik, bratanek biskupa oraz jego sekretarz i osobisty lekarz. Kolejne większe prace przeprowadzono za rządów kardynała Andrzeja Batorego w latach 1594-1597. Zamek, który stracił już znaczenie militarne, został przekształcony we wspaniałą rezydencję myśliwską.
Po pierwszym rozbiorze Polski (1772), zamek został przejęty przez władze pruskie na więzienie.
Gruntowny remont przeprowadzony w latach 1976-1985, pozwolił na utworzenie w części pomieszczeń domu pracy twórczej oraz galerii sztuki. Od roku 2001 po kolejnej renowacji, jest tu hotel z restauracją, galeria i muzeum.
Obecny budynek ratusza zbudowano w latach 1815-1821 na fundamentach starego gotyckiego ratusza zniszczonego w pożarze w 1806 r. Jest typową neoklasycystyczną budowlą, wzniesiona na rzucie prostokąta. Dwukondygnacyjny budynek, zakończony wieżą zegarową, odrestaurowano na początku XXI w.