Tijdens de ziekte van den president der Nationale vergadering Paulus nam hij sedert 7 Maart het presidium waar en na Paulus' dood werd hij op 18 Maart voor 14 dagen tot president gekozen. Gedurende dezen tijd werd een proclamatie aan het nederlandsche volk aangenomen, waarin werd medegedeeld, dat het ieder burger vrijstond, zich per adres tot de bevoegde macht te richten, maar dat dit niet vergund was aan besturen van vereenigingen, die door anderen gemachtigd waren; verder dat die adressen op zegel moesten zijn.
Op 15 Maart werd hij door zijn medeleden uit Holland tot lid der uit 21 leden bestaande commissie tot het ontwerpen eener constitutie gekozen. Daardoor had hij van Apr. tot en met 10 Nov. 1796 geen zitting in de vergadering.
Hij was een der invloedrijkste leden dier commissie, maar behoorde tot de unitarische minderheid daarvan.
De goederen van den gewezen stadhouder waren bij het verdrag van den Haag van 16 Mei 1795 aan de bataafsche republiek afgestaan. Van de Kasteele stelde 6 Apr. 1796 voor, deze goederen te zamen onder één administratie te brengen en een commissie te benoemen tot het opstellen eener instructie voor die administratie. Dit werd aangenomen en op 13 Mei werd voor dit doel een commissie van 5 leden ingesteld.
Toen de leden der commissie van 21 in de vergadering teruggekeerd waren, hield hij op 17 Nov. 1796 een uitvoerige rede, waarin hij het door haar ingediende ontwerp als te federalistisch bestreed. Deze rede is later in druk uitgegeven. Op 29 d.a.v. werd met 73 tegen 23 stemmen het besluit genomen, dat de constitutie in overeenstemming gebracht zou worden met het beginsel van de een- en ondeelbaarheid der republiek. Onder de voorstemmers waren verscheiden federalisten, die zich sterk maakten, dat zij die eenheid wel zoo zouden kunnen uitleggen, dat de republiek toch federalistisch zou blijven. In Dec. werd van de Kasteele een der 7 leden van de commissie, aan welke werd opgedragen, tot genoemde overeenstemming een voorstel te doen.
Op 23 Jan. 1797 werd vastgesteld, dat men om kiezer (dit waren de in de grondvergaderingen gekozenen, die te zamen in de hoofdplaats van het district de afgevaardigden kozen) te zijn, gegoed moest zijn. Toen de uitwerking van dit denkbeeld aan de orde was, verdedigde hij de stelling, dat men verschil moest maken in de eischen van welstand voor verschillende deelen des lands, zoodat zij in groote steden zwaarder moesten zijn dan op het platteland.
Bij een discussie over de vrijheid van drukpers werd door sommigen beweerd, dat alles vrij moest zijn, anderen beweerden, dat beleediging van de maatschappij of van bijzondere personen niet toegelaten mocht worden. Van de Kasteele trachtte de gevoelens te vereenigen door voor te stellen, dat men alles mocht schrijven maar gerechtelijk voor het openbaar gemaakte verantwoordelijk bleef. Dit werd aangenomen.
Op 2 Aug. 1797 werd hij opnieuw in de Nationale vergadering gekozen, nu in de kiesdistricten Weesp, Haarlem en Middelharnis. Bij loting werd bepaald, dat hij zitting zou nemen voor Haarlem. Van 21 Aug. tot 4 Sept. was hij opnieuw president.
Op 13 Sept. 1797 werd hij benoemd tot curator der leidsche universiteit. Hij bleef dit tot zijn overlijden.
Kort na den ongelukkigen zeeslag bij Kamperduin op 7 Oct. 1797 werd door de vergadering