Deze gevangene was Bonivard (1493-1570) prior van St. Victor te Genève. Hij werd in 1530 gevangen genomen, omdat hij protesteerde tegen de misbruiken in de Roomsche kerken en omdat hij partij getrokken had voor het opstandige volk in de dalen van Léman, dat toen onderhoorig was aan de prinsen van Savoye. Ofschoon reizend met een vrijgeleide, werd Bonivard - slachtoffer van een complot - uitgeleverd aan den Hertog van Savoye, die hem te Chillon gevangen zette.
In de eerste jaren genoot hij daar een betrekkelijke vrijheid, de kapitein van het kasteel, Antoine de Beaufort, dezelfde, die z'n gevangenschap bewerkt had, gaf hem een kamer in de nabijheid van de zijne en hoewel zij op velerlei gebied tegenstanders waren, bespraken ze samen gaarne de groote gebeurtenissen van hun tijd.
In die kamer van Chillon met de hooge vensterbanken en de open ramen naar het zonnige, blauwe meer, omkranst door de witgetopte bergen, moet het zelfs in gevangenschap goed zijn geweest te praten over wat belangrijk was en de winteravonden bij de houtvuren onder de groote schouw, waarin de boomstammen in hun geheel gebrand werden, deden zeker veel ontbering vergeten. Maar in 1532, nadat de Hertog van Savoye, Charles III, Chillon bezocht had, verloor Bonivard de betrekkelijke vrijheid, die hij in het kasteel had mogen behouden en hij werd naar de onderaardsche kelders gevoerd.
Oorspronkelijk dienden die kelders voor wapenbergplaats, in tijden van oorlog vonden vrouwen en kinderen daar een schuilplaats. Door de zeer smalle openingen in den muur werd de burcht wel tegen aanvallen van den kant van 't meer verdedigd.
Want Chillon is gebouwd op een rotsachtig eilandje, dat eenige meters van de kust verwijderd ligt, de weg tusschen de kust en den voet der steile bergen is smal, zoodat in oude tijden de bewoners van Chillon onbeperkt meester waren van den weg, die liep van Italië naar Zwitserland, den weg, waarlangs de kooplieden en de pelgrims gingen.
Lang voor het kasteel gebouwd werd heeft op dit rotseilandje (derde of vierde eeuw) waarschijnlijk een kapelletje gestaan; een verweerd, heel primitief steenen altaar, dat in de vorige eeuw bij het doorbreken van een muur gevonden is, is nog een overblijfsel uit dien tijd.
De rots, waarop later het kasteel gebouwd werd, bleef zooals zij was, ongelijk en ruw; ook later, toen de kelders met het overwelfde zuilendak als gevangenis werden gebruikt, bleven de steenen onveranderd; een smal rotsblok úitstekend boven de andere, was immers een uitgezochte peluw voor een