Reeds als student schreef en vertaalde hij een en ander. Hij was een begaafd en strijdbaar man; zijne beginselen waren die der moderne richting.
Heyse huwde den 1en April 1870 te Zierikzee met Helena Maria Ermerins (overl. te Zaandam 6 Maart 1871); hij hertrouwde te Zierikzee den 8en Aug. 1873 met Lena Elisabeth Isebree Moens (overl. te Middelburg 6 Jan. 1920); uit dit huwelijk werden acht kinderen geboren, van welke twee jong overleden zijn.
Van Heyse komen tal van bijdragen voor in dag- en weekbladen en tijdschriften, zooals De Bloemenkorf, De Tijdspiegel, De Indische Gids, het Theol. Tijdschrift, meerendeels over maatschappelijke vraagstukken, armverzorging en onderwijs. Ook De Gids bevat verschillende art. van zijne hand; in de jaargangen 1871-1882 leverde hij meestal de kritiek op boekwerken van letterkundigen aard. Met zijn vriend J.v. Loenen Martinet redigeerde hij van het begin (1869) af het Nieuw Kerkelijk Weekblad, het eerst verschenen orgaan van de moderne richting, later overgegaan in De Hervorming ond. red. van J. van Gilse en B.C.J. Mosselmans.
In het Kerk-historisch Jaarboekje, uitgeg. door de Vereenig. t. beoef. v.d. Gesch. der Chr. Kerk in Nederl. ond. leid. v. W. Moll. N. Reeks. 1ste Jrg. (1864), blz. 139-161 komt van Heyse voor: Wessel Gansfort; id. 2de Jrg. (1865), blz. 113-136: De laatste dagen der Stedingers. - In: Stemmen over Staatk. en Maatsch. Vraagstukken, ond. leid. v. D.C. Nyhoff. No. 5 (Culemborg. 1877), blz. 1-58: Armverzorging. - Onder den schuilnaam Cantor gaf hij het volgende drietal geschiften uit: Het geloof. Open Brief aan Jhr. F.A. Hartsen, Schrijver van: Het geloof, eene psychologische studie. Utr. 1865. 8o. - Eene nederlaag die eene overwinning kan wezen. Een woord aan de liberalen in Nederland. Utr. 1867. 8o. - Een maatschappelijke kwaal. Beschouwingen over de emancipatie der vrouw. Utr. 1867. 8o. - Onze roeping. Afscheidswoord aan mijne gem. te Zierikzee. Uitgeg. voor een liefdadig doel. Zierikzee. 1868. gr. 8o.
Litteratuur: Frederiks en v.d. Branden, Biogr. Wdb., blz. 347, 348. - Alb. Stud. Ath. Amst., blz. 176. - Alb. Stud. L.B., K. 1375, 1380, 1388, 1393. - J. Herderscheê, De modern-godsdienstige richting in Nederl., blz. 368. - Sepp, Biblioth. v. Kerkgesch. schr., blz. 128, 174. - Knuttel, Bibl. v. Kerkgesch., blz. 136, 162. - v. Doorninck, Verm. en Naaml. Schr., blz. 86, 87. - Brinkman's Cat. 1850-1852, blz. 231, 522, 1116. - Alg. Ned. Fam. blad. Jrg. VIII (1891), blz. 160.