Na hem vinden wij het huis in bezit van Mr. Johan Bartoldts van Burscheit, die er op 9 Juli 1591 voor Johan van Vogelsanck en Peter Moutz, licentiaat in de rechten, als mannen van leen en schepenen te Venlo, mede als gevolmachtigde zijner huisvrouw, afstand van deed ten behoeve van Peter Moutz, Dierick Moutz soen.
Deze Peter Moutz of Moeitz, gehuwd met Aeltgen of Aleidis Hagens, deed 20 Dec. 1618 den eed als raadsverwant en 19 Dec. 1620 als schepen van Venlo, van welke stad hij in 1623 regeerend burgemeester was; in 1625 vinden wij hem vermeld als provisor der huisarmen.
Hij overleed 21 Juni 1626, en nu kwam de Vryborg aan zijn oudsten zoon Theodorus of Dierick Moeitz. Deze geraakte in financieele moeielijkheden en moest het huis ‘De Vryborch’ op 16 Sept. 1644, uit kracht van brieven van octroy van het Hof van Gelre d.d. 12 Dec. 1637 en nadere ordonnantie van hetzelfde Hof d.d. 21 Mei 1644 gerechtelijk verkoopen; het kwam aan zijn zwager den stadstollenaar Leonard van Aerssen.
Deze overleed in 1664, en zijn zoon Tilmannus, die hem als stadstollenaar opvolgde, in 1677.
Het huis kwam toen door koop in bezit van Joannes Bucken, koopman te Venlo en vaandrager der stad (begr. 8 Oct. 1701), gehuwd met Maria Schrijvers (begr. 11 Febr. 1697), wiens zoon Jan Gerard Bucken, luitenant in dienst van den koning van Spanje, in 1689 ten Gelderschen rechte met het ‘Huis metter Caemere genant Vryborg tot Venlo’ werd beleend. Deze beleening geschiedde vermoedelijk namens zijn vader.
Hij vernieuwde den 9. Sept. 1717 aan Haar Hoog Mogenden de Heeren Staten Generaal der Vereenigde Nederlanden den eed van 't voornoemde leen en dat in handen van den Heere stadhouder of president van het Hooggerechtshof te Venlo, Frans Adam van Aefferden.
Den 4. Sept. 1722 had er tusschen Maria Catharina Bucken, weduwe van den heer schepen en oud-burgemeester Johan van der Mersche en haar broeder Jan Gerard Bucken een deeling der ouderlijke goederen plaats. Deze deelingsakte staat in afschrift opgeteekend in één der protocollenregisters van Maasbree.
Jan Gerard kreeg o.a. ‘het huys gelegen op den hoeck van de Holtstraete genoemt Vryborgh, met ap- ende dependentiën van dyen’.
Hij woonde in 1742 ‘op het vrye aedelycken Huyse Macken’,