ciaal der Franciscanen te Weert en verliet hij zijn pastorie om zich naar te Groningen te begeven. Aldaar vond hij geestelijken steun bij Prof. Hofstede de Groot en bij andere godgeleerden. Ds. C.H. v. Herwerden zou hem voorbereiden voor zijn aansluiting bij de Ned. Hervormde Kerk. Van Roomsche zijde werd daarop een bijzonder middel toegepast om hem tot terugkeer te dringen; een zijner zusters en zijn neef, die priester was, vervoegden zich bij hem en wisten door vurige betoogen, hem ten slotte te bewegen, dat hij, mede onder invloed van samensprekingen met tactvol optredende geestelijken, een schriftelijke verklaring gaf dat hij voortaan allen omgang met Prof. Hofstede de Groot zou mijden, en dat hij zich vervolgens in een toestand van bedwelming, waarin men hem had weten te brengen, uit Groningen liet wegvoeren. Toen hij weer tot bewustzijn kwam, bevond hij zich, in gezelschap van zijn neef, te Haarlem, waarheen om de aandacht niet te trekken, de reis over zee was afgelegd. Hij werd er in vriendelijk gehoor ontvangen door den bisschop Mgr. Franciscus Jacobus van Vree, waartoe hem de weg was gebaand. Op machtiging van paus Pius IX (d. 17 Juni 1855) werd hij nu onder den bisschop van Haarlem gesteld, door wiens bestel hij omstreeks 1 Oct. in het Jezuïetenklooster te Culemborg werd geplaatst. Hier bleef hij tot dat hij vandaar naar Medemblik werd gezonden, vanwaar hij na een half jaar voor herstel van gezondheid in het najaar van 1856 verhuisde naar een klein klooster onder Krooswijk te Rotterdam. Volgens zijn eigen getuigenis verkeerde hij destijds in een toestand van verwarring, waarin hij niet
recht wist wat hij deed en schreef. Hiervan maakten de paters Franciscanen gebruik om hem weer tot hun orde over te halen, waarin de bisschop van Haarlem had toegestemd onder voorwaarde dat men hem onder toezicht zou houden.
Na hersteld te zijn verklaard, werd hij in het begin van 1857 door den bisschop terug geroepen, en andermaal te Haarlem geplaatst als kapelaan. Even als vroeger vervulde hij hier met ijver en nauwgezetheid zijn ambtelijken plicht, maar in de drie jaren die hij er doorbracht, had hij met toenemende moeilijkheden en kwellingen te kampen. Dit werd van dien aard, dat de overheid er zich in mengde en een commissaris van politie hem aanried een klacht in te dienen. De bisschop vond hierin aanleiding hem te verzoeken de zaak te sussen onder belofte zelf voor zijn vrijheid en stoffelijk onderhoud te zullen zorgdragen.
Hieraan gaf Kraayvanger gehoor, maar de moeilijkheden, hem daarna in den weg gelegd, brachten hem ertoe tegen Nieuwjaar 1860 Haarlem te ontvluchten en zich naar zijn geboorteplaats te begeven. De bisschop gelastte hem daarop Oldburgen niet zonder zijn verlof te verlaten en herinnerde hem dat hij aan de hoofdzaken zijner religieuze beloften en aan de constituties zijner orde verbonden bleef. Voor het verrichten van kerkelijke diensten werd hem daarbij een toelage geschonken, die hem in staat stelde op zeer bekrompen voet te leven.
In de stilte der drie volgende jaren in den Gelderschen achterhoek doorgebracht rijpte nu bij hem het besluit, om, thans voor goed, uit volle overtuiging de Roomsche Kerk te verlaten. Den 17en Febr. 1863 werd hij aangenomen als lidmaat der Ned. Hervormde Kerk, na hiertoe onderwezen te zijn door Ds. A.H. van der Hoeve, predikant te Laag-Keppel, en den daaropvolgenden Zondag legde hij openlijk belijdenis des geloofs af in de gemeente te Arnhem.
Daarop (7 Mei) vestigde hij zich metterwoon in zijn vroegere woonplaats Haarlem, thans om als ‘evangelist’ werkzaam te zijn voor de ‘Evangelische Maatschappij’,