van het eiland der Batavieren, niet van groot belang, maar waarbij ‘op een voor dien tijd verstandige manier bronnen werden opgezocht en gebruikt.’
Na den dood van bisschop Philips gaat Geldenhauer geleidelijk tot de Hervorming over, waarbij hij zich in 1525 openlijk aansluit. De invloed van Erasmus en andere humanisten deed zich gelden, hijzelf had reeds in zijn Satyrae de gebreken der oude kerk ingezien en daarbij komt thans Geldenhauer's indiensttreding bij Maximiliaan van Bourgondië, hoofd der Middelburgsche abdij. Daar heeft hij waarschijnlijk den invloed ondergaan van koning Christiaan II van Denemarken, die toen in Zeeland vertoefde en een vurig aanhanger der Hervorming was. Bovendien moest Geldenhauer in 1525 op last der Zeeuwsche heeren een tocht naar Wittenberg ondernemen, ‘een soort enquête naar den aard der Hervorming,’ waarvan hij een beknopte reisbeschrijving gaf: Itinerarium Gerardi Geldenhaurii Noviomagi Antverpia Vitebergam Anno 1525, uitgegeven in Arch. K.G., dl. IX, blz. 509 vv. Daaruit blijkt al zijn verontwaardiging over de geloofsvervolging en zijn sympathie voor de Hervormingsgezinden. Misschien is hij na zijn terugkomst nog een korten tijd als prediker te Tiel werkzaam geweest, maar in allen gevalle heeft hij zich na zijn overgang niet meer veilig gevoeld in de Nederlanden. Hij week naar Duitschland uit, vestigde zich eerst te Worms en trad daar in 't huwelijk, waaruit een zoon, Eobanus Geldenhauer, is gesproten, later predikant in Oost-Friesland, voornamelijk te Emden.
In 1529 gaf Geldenhauer Epistolae aliquot de re Evangelica et Haereticorum poenis ad Carolum Quintum, ad Germ. Principes in conventu Spirensi, ad Carolum Gelriorum Ducem, ad Philippum Hessorum Principem in 't licht. Hierin wordt vooral over de kettervervolging gehandeld en een hervormingsplan gegeven, dat, steunende op godsdienstige grondslagen, een volkomen kerkelijke en staatkundige omwenteling beoogt. Hij spreekt hier als ‘een man van overtuiging... een man wiens hart tot spreken dringt en die spreekt.’ Afzonderlijk verscheen nog een Ad Carolum quintum ... epistola Gerardi Noviomagi, in quo tractatur, utrum haeretici iure suppliciis adfici possint nec ne (z.p., 1528). Ook maakte hij in zijn strijd voor de Hervorming gebruik van de waarde, die anderen aan de astrologie hechtten en gaf daarom een werkje uit: De terrifico cometa ... qui apparuit anno MDXXVII mense Octobri, Epistola ad Carolum V (z.p. of j.).
In het voorjaar van 1529 verscheen van Gelderhauer's hand een boekje, getiteld: Epistolae Erasmi, waarin hij eenige plaatsen uit de geschriften van den Rotterdammer aanhaalt betreffende het dooden van ketters, dat door dezen ten sterkste veroordeeld wordt; dit boekje werd toen naar den Rijksdag te Spiers gezonden. Erasmus was echter hoogst verontwaardigd over het gebruik maken van zijn naam en autoriteit en gaf in een schrijven van 4 November 1529 (opgenomen in zijn Opera omnia, Lugd. Bat. 1706, dl. X) zijn ongenoegen daarover te kennen, temeer daar kort hierop door Geldenhauer nog Annotationes Erasmi in 't licht waren gezonden, waarin de vorsten werden aangespoord, zich niet langer tegen de Reformatie te verzetten, de monniken van hun goederen te berooven en die aan de Evangelischen af te staan. Beide geschriften van Geldenhauer schijnen herdrukt te zijn als: D. Erasmi Roterodami Annotationes in Leges Pontificias et Caesareas de Haereticis. Epistolae aliquot Gerardi Noviomagi. De re Evangelica et Haereticorum poenis etc. (Argent. 1529), want Erasmus heeft een tweede tegenschrift gegeven, waarin hierop gedoeld wordt.