vier jaren stond hij in zijn tweede gemeente, waar hij den 21en October 1860 zijn afscheidsrede hield, om naar Middelburg te vertrekken, dat den 17en Mei van dat jaar een beroep op hem had uitgebracht. Van 4 November 1860 was Koch te Middelburg werkzaam, tot een later herstelde ziekte der stemorganen hem dwong, tegen 1 Januari 1885 emeritaat aan te vragen en hij op 28 December 1884 met een Afscheidswoord over 2 Cor. 4:13b (Midd. 1885) zijn bediening nederlegde. Hij vestigde zich te Scheveningen, wijdde zich aan allerlei maatschappelijk werk en werd in 1888, toen zijn stem het hem weer veroorloofde, predikant aan de strafgevangenis aldaar. Vooral was hij een ijverig pleitbezorger voor de geheel-onthouding, wat ook blijkt uit zijn geschrift Een slachtoffer van koning Alcohol (Amst. 1891), terwijl hij sinds 1887 voorzitter was van de Nederlandsche Vereeniging tot afschaffing van sterken drank. Hij overleed den 5en Januari (v. Alphen, N.K.H., 1887, Bijl., blz. 138, vermeldt: 5 Juni) 1895 te Utrecht en is in den Haag begraven.
Koch, die een overtuigd aanhanger der moderne richting was, hield den Bijbel in hooge waarde en wilde hem ook meer in het huisgezin brengen. Dit bracht hem tot de bewerking van De bijbel in het huisgezin. Morgenoverdenkingen (Midd. 1870; 2e dr. ald., 1894) en van Huiselijke godsdienstoefening, in 1886 uitgegeven door de ‘Vereeniging tot verspreiding van stichtelijke blaadjes’. Ook uitte hij in de Vergadering van moderne theologen van 1893 den wensch naar een boek, bevattende de schoonste gedeelten uit den Bijbel, voorzien van toelichtingen, waardoor Dr. L. Bähler werd aangespoord tot het schrijven van zijn Bloemlezing uit de Israëlitische letterkunde uit een aesthetisch oogpunt.
Verder gaf Koch nog in druk: Hebben wij vrede met de bevestigingsrede, uitgesproken bij de bevestiging van J.P. Nonhebel, op 6 April 1862? door een lid der gemeente (Midd. 1862). - Het advies aan de Synode inzake de doopsformulieren nader toegelicht door de voorstellers (Midd. 1870). Deze voorstellers waren H. Boonen, E.J.W. Koch en J.J.L. Luti. - Veertien jaar uit het leven van een ambachtsman (Amst. 1877). - Een woord ter nagedachtenis van Prins Hendrik der Nederlanden (2 drukken, Midd. 1879). Bovendien vertaalde hij: R. Baxter, The reformed pastor, als: De Evangeliedienaar, hoe hij wezen en werken moet. Met inleiding van Prof. W. Moll (1857), werkte mede aan Morgenlicht en schreef artikelen in de Kerkelijke Courant, De Hervorming en vooral in De Volksvriend, orgaan der Vereen. tot afschaffing van sterken drank. Volgens Herderscheê heeft hij ook een vraagboekje voor het katechetisch onderwijs geschreven.
Den 2en Februari 1854 huwde Koch met Cathérine Johanna Diederika Tilanus, in 1827 te Arnhem geboren en dochter van Prof. C.B. Tilanus, uit welk huwelijk vier zoons en één dochter geboren zijn.
Litteratuur: Molhuysen en Blok, N. Biogr. Wdb., III, 709 en de daar aangehaalde litteratuur. - Nagtglas, Levensber., I, 555, 556. - Knappert, Gesch. N.H.K., II, 349. - Herderscheê, De Mod. Godsd. richting in Ned., 353, 368, 374. - Alb. Ath. Amst., 226. - Alb. Stud. L.B., 1344, 1347. - Hs. Borger.