Graaf van Charolois, naderhand Karel de Stoute, welke laatste, ondanks het streven van Jan van Croy, om hem in zijn regt op de erfgoederen der vrouwe van Bethune te benadeelen, de heerlijkheid van Bethune aanvaardde, waardoor Jan van Croy misnoegd werd en er op uit was, om door zijnen magtigen invloed, Karel steeds nieuwe lagen te leggen. Dit gedrag was aan laatstgenoemde hoogst onaangenaam, en meermalen gaf hij daarover zijn misnoegen luide te kennen.
In 1458 werd Croy, in de plaats van zijnen meester, met drie andere edelen naar Frankrijk gezonden, om mede het vonnis uit te spreken over den hertog van Alençon, die van misdadige verstandhouding met de Engelschen verdacht werd. Intusschen wakkerde de haat van den Graaf van Charolois tegen Croy aan, en trachtte de jonge vorst hem, ofschoon te vergeefsch, den voet te ligten. Die haat nam toe, toen in 1463 Lodewijk XI, koning van Frankrijk, door middel van Croy, dien hij, om hem te winnen, tot groothofmeester benoemd en de heerlijkheid van Guines geschonken had, er in slaagde om, met geld dat uit de schatkist van Filips zelven gevloeid was, de bij het vredesverdrag van Atrecht verpande steden, Amiens, Abbeville en St. Quentin weder onder Frankrijk terug te brengen. Croy daarentegen liet niet na om van zijne zijde den hertog meer en meer op zijnen zoon te verbitteren en beraamde een plan om zich van hem meester te maken. Dit mislukte, en nu ontdekte Karel aan zijnen vader het bedrog en de slechte handelingen waaraan Croy zich had schuldig gemaakt. Deze wachtte den los te breken storm niet af en vlugtte naar Frankrijk, waar hij zich, in den oorlog van Lodewijk XI, tegen zijnen wettigen vorst wapende. In 1473 werd hij met Karel verzoend en zijne heerlijkheid Chimay door hem tot een graafschap verheven. Nog in hetzelfde jaar overleed hij en liet bij zijne gemalin Maria van Lalaing, erfdochter van Quievrain verscheidene kinderen na, waaronder Filips van Croy graaf van Chimay, wiens oudste zoon Karel hier volgt.
Zie Hoogstraten, Woordenb., D. III. bl. 407; van Mieris, Hist. der Nederl. Vorst., D. I. bl. 41, 67, 77, 84, 85, 86, 88, 116.