In 1478 werd Wolfert, te Brugge, met de Ridderorde van het gulden Vlies begiftigd; zijnde hij en Heer Willem van Egmond de eersten die daarmede door den Aartshertog Maximiliaan van Oostenrijk begunstigd werden.
Toen in 1479 de Hoeksche en Kabeljaauwsche tweespalt op het hevigst woedde en Heer Wolfert geen zeker verblijf meer te 's Gravenhage vond, nam hij de wijk naar Rotterdam; terwijl hij afwezig was, werd zijn goed te 's Gravenhage door de Kabeljaauwschen geplunderd en bedorven. De Stadhouder verzamelde sedert een leger van wel 7000 man; trok daarmede naar 's Gravenhage, nam het Hof weder in, en deed de huizen der Kabeljaauwschen plunderen; doch zoodra had hij 's Gravenhage niet verlaten, of de Kabeljaauwschen plunderden uit weerwraak de huizen der Hoekschen. Daar hij nu eindelijk zag dat zijn vermogen te kort schoot, om, de tweespalt te dempen, aangezien de Aartshertog Maximiliaan hem niet naar eisch ondersteunde en weldra de Kabeljaauwschen openlijk begunstigde, legde hij in 1480 het stadhouderschap neder. Zijne vijanden hiermede echter nog niet te vreden, wisten den Aartshertog tegen hem in het harnas te jagen, die met eene groote heermagt tegen Vere optrok, doch eer de stad werd aangevallen werd Maximiliaan door den Kapitein Petit Salizart, van Wolferts onschuld overtuigd. Onderwijl had Heer Wolfert uit hoofde van zijne hoedanigheid als Admiraal, en ter liefde van zijnen Vorst en deze Landen, zoo wel door eigen vermogen, als dat van zijne steden Vere, Vlissingen, Westkapelle, Brouwershaven enz., zoo vele kosten gedaan in het uitrusten van oorlogschepen tegen de Franschen, dat hem daarvoor ten jare 1484 bij 's Lands Staten en den Hertog 2100 ponden Vlaamsch werden toegelegd in zes jaren bij den Rentmeester Bewesten Schelde te betalen. Desniettegenstaande moest Heer Wolfert de smart ondervinden, dat zijne stad Vere, den 12den Julij 1485, uit naam van Filips den Schoone, met 520 Duitsche soldaten onder den Heer van Pamele bezet werd, onder voorwendsel van die ‘jeghens die
Vlaming ende anderen myns genadigen Heeren vianden te bewaren,’ welke bezetting uit de inkomsten van Heer Wolfert moest betaald worden.
Deze en andere kwellingen stortten hem in eene kwijnende ziekte waaraan hij den 14den April 1487 overleed. Met hem stierf het mannelijk oir van het geslacht van Borssele uit. Want na het overlijden van zijne eerste vrouw, den 20sten Maart 1465, was hij in 1469 wel hertrouwd met Charlotte van Bourbon, maar deze liet hem slechts drie dochters na, van welke de oudste Anna volgt.
Zie Heemskerk, Batav. Acad., bl. 221-237; Boxhorn, Chroniick van Zeel., D. II. bl. 213, 239, 295, 316; van Mieris, Nederl. Vorst., D. I. bl. 138; Alkemade, Jonker Fransen Oorl., bl. 18-25; Luïscius, Algem. Hist. Woordenb., D. I. St. II. bl. 64; Burman, Utrechts. Jaarb., D. III. bl. 418; Wagenaar, Vaderl. Hist., D. IV. bl. 44, 171-174, 187, 188, 191; Brouërius van