vormde ministerie als minister van koloniën werd opgenomen. Met beleid was hij in deze hooge staatsbetrekking werkzaam om den overgang der behoudende koloniale staatkunde in een meer vrijzinnige, die door zijn ambtsvoorgangers krachtig was voorbereid, zoo geleidelijk mogelijk te doen plaats hebben. De gouverneur-generaal Loudon nam onder zijn bewind wegens verschil van inzicht zijn ontslag en werd vervangen door Mr. van Lansberge. In 1876 nam het ministerie waarin hij zitting had ontslag, doch de meerderheid
zijner ambtgenooten gaf aan het verlangen van den Koning om de regeeringstaak weder op te nemen gehoor; van Goltstein bleef echter bij zijn verzoek om ontslag volharden en werd vervangen door Alting Mees. Na zijn ontslag bleef hij ambteloos tot 1879, toen hij in het door baron van Lynden van Sandenburg gevormde ministerie wederom als minister van koloniën optrad. Hij bleef als zoodanig werkzaam tot Mei 1882, toen hij zich door een uitspraak der Tweede Kamer over de conversie op Java van het gemeenschappelijk in persoonlijk grondbezit genoopt zag zijn ontslag te nemen. Hij bleef ambteloos gedurende twaalf jaren en hield zich in dien tijd met de bestudeering van koloniale en staatsrechtelijke vraagstukken bezig, waarvan hij de vruchten in verschillende tijdschriftartikelen openbaar maakte. In 1894 werd hij benoemd tot gezant te Londen, waar hij tot het einde van 1899 de nederlandsche belangen met ijver en zorgvuldigheid waarnam. Hij had tevens zitting in den raad van voogdij over koningin Wilhelmina en werd in 1893, na den dood van jhr. Mr. van Reenen, voorzitter van dien raad, welke betrekking hij bleef waarnemen tot op het tijdstip van de meerderjarigheid der Koningin. Hij was nog lid van den Hoogen Raad van Adel. Ook was hij voorzitter en later eere-voorzitter van de in 1890 door hem met anderen opgerichte Maatschappij tot bevordering van het Natuurkundig Onderzoek der Nederlandsche Koloniën.
Wegens verzwakte gezondheid nam hij in 1899 zijn ontslag als gezant te Londen en bracht nog twee jaren van rust beurtelings te 's Gravenhage en op den huize Oldenaller te Putten door, waar hij, ten gevolge van een hem overkomen ongeval, in 1901 overleed.
Hij was te Velzen 12 Aug. 1863 gehuwd met Agneta Cornelia Hugonia Boreel, dame du palais der Koningin Moeder. Zijn portret is door C.C.L. Last op steen geteekend.
Zijn voornaamste geschriften zijn: Nederland tegenover de constitutioneele beweging onzer eeuw (1863); Het vaststellen der Indische Begrooting bij de Wet (1864); twee brochures over de troonsopvolging (1887), een levensschets van jhr. Mr. G.C.J. van Reenen (1894); voorts schreef hij een aantal artikelen in de Gids, de Indische Gids en het Tijdschrift van het Koninklijk Nederlandsch Aardrijkskundig Genootschap.
de Beaufort