Tot hiertoe had Oltmans de teeken- en schilderkunst slechts beoefend als liefhebber; evenzoo de muziek, waarvan hij zich eene groote mate van kennis eigen maakte, terwijl hij de viool met veel vaardigheid bespeelde. Hij was overigens op het kantoor zijns vaders werkzaam, en wel tot aan diens overlijden, dat in het begin des jaars 1839 voorviel. Hij besloot toen zich geheel aan de kunst te wijden, en hield bij voorkeur zich met het vervaardigen van stadsgezigten onledig. Zijne schilderstukken zijn evenwel niet talrijk; het scheen dat hij zelf zijn werk niet voldoende achtte, althans niet beantwoordende aan dat geen, wat het volgens zijn oordeel behoorde te zijn. Later hielden andere werkzaamheden hem veel van zijn eigenlijk kunstvak terug, zoodat hij in de laatste jaren zjins levens weinig meer de schilderkunst beoefende.
In 1845 werd hij benoemd tot plaatsvervangend of tweeden Secretaris van de nog jeugdige maatschappij Arti et Amicitiae, en twee jaren later tot eersten Secretaris, welke betrekking hij tot aan zijnen dood vervulde. Aan de daarmede verbonden werkzaamheden wijdde hij een groot deel van zijnen tijd; hij leefde als het ware voor deze maatschappij, en zij heeft aan hem de grootste verpligting voor den ijver en de zorg, waarmede hij hare belangen behartigde. Ook als oprigter van de vereeniging ‘tot bevordering der beeldende kunsten,’ ten naauwste met de belangen van Arti et Amicitiae verbonden, ontzag hij geene moeite of werkzaamheden: en als haar Secretaris, daar beide instellingen onder hetzelfde bestuur staan, heeft hij door zijne ijverige bemoeijingen het meest tot den spoedigen bloei dezer vereeniging bijgedragen.
Behalve de reeds genoemde beoefening der teeken- en schilderkunst en die der muziek, hield Oltmans zich veel met litterarische studie onledig, en in verband met zijne vroegere teekenoefeningen, was het vooral de theorie en de archaeologie der kunst, en meer bepaald der middeleeuwsche bouwkunst, waaraan hij zijne onderzoekingen wijdde. Zijne belezenheid in de geschiedenis, zoo onmisbaar voor de kennis der oudheid