Geysbeek, volgens eene zuivere prosodie doorgaans in het metrum der ouden opgesteld, ademen volgens denzelfden niets dan deugd, liefde, vriendschap en godsvrucht. Zijne gedichten kwamen uit onder de volgende titels:
Ode en gedichten, Utr. 1782. 8o. 3 stukjes.
Feestzang voor het derde jubel-feest van Utrechts Hoogeschool, Utr. 1786. 8o.
(Met zijne gade) Gedichten, Utr. 1792. 8o.
Ode ter nagedachtenis van zijnen vriend H. van Alphen, Arnb. (1805) 4o.
Nagelaten gedichten, oden en elegien (door vrouwe A. Kleyn, geb. Ockerse uitgegeven) Utr. 1809. 8o.
Kleine prozaische en poetische bijdragen, Arnh. 1818. 12o.
Als beoefenaar der fraaije letteren deed Kleyn zich even gunstig kennen door zijne fragmenten van eene volledige Theorie der schoone Kunsten en Wetenschappen, die in de Mnemosyne van de heeren van Kampen en Tydeman gevonden worden, en getiteld zijn:
Verhandeling over de fraaije Kunsten en Wetenschappen in het algemeen, en over de Dichtkunst en Dichtkunde in het bijzonder; in de Mnemosyne, 1ste deel, bl. 1.
Verhandeling over het Epigramma, ald. 2de deel, bl. 1.
Verhandeling over het Herdersdicht; ald. 4de deel, bl. 1.
Voorts zijn Renige losse theoretische en aestheitische Gedachten over het Lyrisch Gedicht uit zijne papieren bijeen verzameld door zijn schoonbroeder W.A. Ockerse, en geplaatst voor de Nieuwe Dichtk. Mengelingen van vrouwe A. Kleyn, bl. XI.
Aan de pen van Kleyn hebben wij ook eenige nette vertalingen te danken, zoo als:
Sympathien, uit het Hoogduitsch van Wieland, Utr. 1787. 8o.
Koozerijen, uit het Hoogduitsch van Gerstenberg, Utr. 1795. 8o.
Huisselijk leven, uit het Hoogduitsch van Stilling, Utr. 1801. 8o.
Theodore van der Linden, uit het Hoogduitsch van Stilling, Utr. 1803. 8o. 2 deelen.
Zie Witsen Geysbeek, Leven van J.P. Kleyn, in den Recensent ook der Recensenten voor 1807, No. 2, bl. 85 en volgg.; Hand. der Jaarl. Algem. Vergad. van de Maatsch. der Ned. Letterk. te Leid. 1805, bl. 11; en daarnaar in den Konst- en Letterb. 1806. D. I. bl. 147; van Kampen, Geschied. der Lett. en Wetensch. in Ned. D. II. bl. 395, 396, D. III. bl 231; Witsen Geysbeek, Woordenb. van Ned. Dicht.; door ons voornamelijk gevolgd; verschillende boeken-catalogi.