Dat huis had hij sedert 1864, geleidelijk aan, steeds schitterender doen inrichten, ter liefde van zijn echtgenoote; na haar dood ter liefde van de herinnering aan haar, wier levensgroote beeltenis in zijn studeerkamer hem steeds aan zijn gelukkiger dagen deed denken.
In 1892 trok hij zich uit de financieele zaken terug, ze overlatende aan zijn neef den heer F. Herman van Gijn. Sedert kon hij al zijn tijd, zijn liefde, zijn fortuin aan zijn kunstlievende neigingen, aan zijn zucht naar wetenschap besteden, en dat heeft hij gedaan, zooals weinigen.
In zijn woonhuis bracht hij een verzameling van zeldzame kunstvoorwerpen te zamen, met buitengemeen fijnen smaak.
Een bibliotheek op litterair en historisch terrein, eischte steeds meer ruimte in de kamers, in de gangen, op allerlei andere plaatsen. Maar waarin hij zich het liefst vermeidde, was de geschiedenis van Dordrecht, de geschiedenis des Vaderlands, zeden en gewoonten, het huis van Oranje-Nassau, den Revolutietijd en dien van Napoleon.
En daarover bracht hij collecties bijeen, zooals thans, nu alles wat gravure is, zoo zeer in prijs is gestegen, aan particulieren niet meer mogelijk is, daar bijna alles voor musea wordt opgekocht. De schatten van platen, teekeningen, portretten, kaarten enz., in een tijdverloop van een halve eeuw bijeengebracht, vormden weldra unieke verzamelingen, bij de liefhebbers in den lande wel bekend. En menigeen benijdde hem het bezit van zeldzame prenten in den tijd, toen hij te Dordrecht nog onderscheidene mededingers had in de heeren Beelaerts, Smits van Nieuwerkerk, van de Weg, en buiten hen nog vele anderen, wier namen ik niet zal noemen.
Mr. S. van Gijn behield het genot van al dat schoons niet voor zich alleen. Hij liet anderen door tentoonstellingen mede ervan genieten, en onderscheidene exposities zijn te noemen, als die van Dordrechts oude Gebouwen 1882, de Oranje-Nassau tentoonstelling 1898, die van het Zeewezen, de Ruyter 1907, de Witt 1913, waarbij hij meestal het leeuwenaandeel leverde.
Ook bij de uitgave van geïllustreerde historische werken en platenatlassen werd zijn hulp menigmaal ingeroepen, en steeds kon men op zijn bereidwilligheid tot medewerking rekenen. Zoo maakte hij zijn bezit dienstbaar aan de vermeerdering der kennis van het algemeen.
Openbare ambten of bedieningen heeft hij niet bekleed; alleen van die vereenigingen of genootschappen was hij lid, die met kunst of wetenschap in verband stonden: De Maatschappij der Nederlandsche Letterkunde, het Historisch Genootschap, de Vereeniging Onze Vloot, ziedaar enkele. Van de Dordtsche Corporaties was de Dordrechtsche Rijschool voor hem een gelegenheid om historische carroussels te arrangeeren en daarvoor de teekeningen en kleederdrachten te ontwerpen.