Wprawdzie nie można nazwać zespołu katedralnego zamkiem, ale całe wzgórze jest silnie ufortyfikowane. Od strony Zalewu Wiślanego dojścia do niego broniła dość stroma skarpa, a od południa sucha fosa i solidne mury.
Mikołaj Kopernik mieszkał, a raczej z rzadka pomieszkiwał w tej wieży. Dopiero w 1529 roku w wieku 56 lat osiadł tam, na stałe.
Kopernik żył w czasach gdy Warmia była częścią Polski. Podczas swojej kariery w hierarchii kościelnej jako kanonik był wielokrotnie kanclerzem i administratorem dóbr biskupa warmińskiego, więc nie miał czasu żeby poważnie zająć się pracą naukową. Podczas częstych Zatargów z krzyżakami musiał doglądać nie tylko Fromborka ale także Olsztyna i Lidzbarka, prawdopodobnie dużo czasu musiał spędzać w podróżach. Kopernik nie był też pozbawiony ambicji zostania biskupem warmińskim. Dopiero gdy w 1529 roku nie został wybrany, mimo podania jego kandydatury (razem z trzema innymi) przez króla Zygmunta Starego porzucił myśli o dalszej karierze i przestał pełnić funkcje publiczne. Cały czas mógł poświęcić pracy naukowej.
