Magnus II Tavasts tid (1412–1450) var Kustö biskopsborgs glanstid. Hans inflytande som biskop i Åbo var oöverträffat och han påverkade många ärenden som gällde Finland.

I biskopskrönikan sägs Magnus II Tavast ha låtit bygga största delen av Kustö biskopsborg. Under hans tid utrustades borgen till en stark bas för handel och försvar: ett stort palats med fyra rum byggdes i den södra delen av huvudborgen och flyglarna och murarna höjdes. Under Magnus II Tavast flyttades huvudingången till borgen till sydsidan, eftersom näset till Kustö växte på grund av landhöjningen. Under sin glanstid var borgen ett lyxigt palats, som många högreståndspersoner bara kunde drömma om. De omgivande ägorna och ladugården på Kustö gjorde också biskopsborgen till en viktig och välbärgad ekonomisk bas.

Biskop Hemming daterade 1344 ett brev "Datum apud curiam nostram Custu". År 1440 daterade hans ämbetsbroder Magnus II Tavast för sin del ett brev så här: "Datum in castro nostro Kusto". Curia, som betyder gård, hade ersatts med castrum, det vill säga borg, vilket därefter användes. Den ändrade benämningen torde också återspegla platsens ökade betydelse.

Man vet med säkerhet att borgen har eldhärjats åtminstone två gånger: novgoroderna brände ner borgen 1318 och en annan brand härjade 1485 och förstörde värdefulla arkiv i borgen. Efter bränderna iståndsattes borgen.

Ännu på Magnus Stiernkors tid (1489–1500) fortsatte man att lägga ut stora summor på att bygga ut och utrusta borgen. Exempelvis höjdes murarna ytterligare, rummen välvdes och arbetet med att bygga förborgarna slutfördes.

Borgen var som störst i början av 1500-talet. Laurentius Michaelis Suurpää, Johannes IV och Arvid Kurck härskade i borgen med sin huvudborg i tre våningar med palats, kapell och ekonomiflygel. Utanför huvudborgen fanns tre förborgar med 5–6 meter höga murar. Det fanns flera torn och den sydligaste förborgen fanns ett "modernt" runt kanontorn, som var tio meter högt. Utanför dessa försvarsverk fanns ett pålverk i havet som försvårade landstigningar.

Med båt till Kustö biskopsborg