Birger kunde imellertid ej länge finna sig i sin underordnade ställning, utan lyckades öfvertala sin svåger, konungen af Danmark, att ånyo med härsmakt hjelpa sig; och då hertigarne derjemte lågo i fejd med Norge, fanns för dem ej annan utväg än att ingå på freden i Helsingborg den 17 Juli 1310, i hvilken de till Birger bland annat afträdde ”Visinxö, Grenna, Wijsth och Tuetha”. Om konungen derefter besökt sitt återvunna öslott, är svårt att afgöra; skäl finnas dock att antaga så varit fallet 1311, då han den 11 Febr. var i Jönköping, och då hans råd, riddaren Folke Jonsson (Blå) till Fanö, befinnes hafva den 17 i samma månad från ön daterat en ännu qvarvarande fullmakt — troligt är att han dit anländt i konungens följe.
Eget nog besöker hertig Erik ännu en gång ön, som nu var i konungens händer; det var nemligen på återvägen från den resa han företagit till utlandet, som han 1312 återsåg sin fäderneborg. Hvarför vi kunna uppgifva att så förhåller sig, är ett ännu i behåll varande bref från ”Wissinzö” den 20 Juli d. å., uti hvilket hertigen vidimerar prosten Thorstens på Öland testamente.
Som man vet slutades oenigheten mellan de höga bröderna på ett lika plötsligt som förfärligt sätt, i det Birger narrade dem till sig i Nyköping 1317 och inspärrade dem i ett torn, hvarest de i början af följande året omkommo. Denna onaturliga gerning uppväckte en allmän förbittring och bringade hela landet i uppror. För att få medel till värfvande af trupper mot sina undersåtar, pantsatte han till konungen af Danmark en del af Småland samt Visingsö, ”med det på denna ö belägna slottet”, samt de enskilda egendomar konungen egde i dessa trakter (fördraget i Helsingör den 27 Febr. 1318). Men detta bringade det dervarande folket i harnesk, liksom öfverallt i riket, och riddaren Carl Elineson (Sparre) på Kalmar lät sända bud omkring landet och samlade småländingarne, samt eröfrade med deras tillhjelp, utom flere andra orter, äfven Visingsö; konungen nödgades för alltid lemna riket.
Ända till medlet af 1500-talet försvinner nu ön ur historien — det dervarande slottet nämnes ingen gång mera, och som vi längre fram skola se var det förstördt — ett giltigt skäl hvarför konungarne ej härefter uppehöll sig der. Och, ehuru den kungliga familjen ännu i lång tid egde ej obetydliga egendomar qvar på ön, kan man dock med allt skäl anse år 1318 såsom
