Gotycki zamek w Trokach wybudowano na jednej z 21 wysp na Jeziorze Galve, jako twierdzę nie do zdobycia.
Zamek powstał w celach obronnych przed najazdami Krzyżaków, a także jako twierdza mająca uchronić Księcia Witolda przed bratobójczymi spiskami oraz jako przyszła siedziba dworu największego w ówczesnych czasach, europejskiego państwa, jakim było Wielkie Księstwo Litewskie.
W XVI w. zamek przestał być dworem książęcym i pełnił rolę "eleganckiego" więzienia politycznego dla ludzi z wyższych sfer. Trafili tu m.in. przeciwnicy polityczni, wdowa po Aleksandrze Jagiellończyku, Helena, podejrzewana o zamiar ucieczki do Moskwy, chan kipczacki Szach-Ahmed oraz posłowie wielkiego księcia moskiewskiego. Dopiero Zygmunt August zmienił funkcję zamku i uczynił z niego swoją letnią rezydencję.
