1924 is hij onafgebroken verbonden geweest aan de Leidse Sterrewacht, waarvan hij van 1945 tot zijn emeritaat in 1970 directeur was. In 1926 promoveerde Oort op een proefschrift met als titel The stars of high velocity, waarin hij een uitvoerige beschrijving gaf van het probleem van de hoge-snelheidssterren, die niet goed pasten in het Melkwegbeeld van Kapteyn. Later zou blijken dat deze hoge-snelheidssterren de sleutel vormden tot de ontdekking die Oort wereldfaam zou bezorgen.
Die ontdekking kwam in 1927: samen met de Zweedse astronoom Bertil Lindblad ontdekte Oort de (differentiële) rotatie van het Melkwegstelsel. Over de vorm, de grootte en de aard van het Melkwegstelsel was indertijd nauwelijks iets bekend, maar Lindblad en Oort leidden uit de beschikbare waarnemingen af dat het hele afgeplatte stelsel een trage rotatie uitvoert, dat de zon zich niet in het centrum bevindt maar in de buitenste regionen, en dat de kern van het Melkwegstelsel sneller ronddraait dan de buitendelen. In zijn proefschrift uit 1926 was de basis voor deze doorbraak in feite al gelegd, en Oort heeft het zichzelf later nooit vergeven dat hij de oplossing van het raadsel niet toen al had doorzien.
Ook in de jaren dertig bleef het onderzoek aan het Melkwegstelsel hem boeien. Uit metingen aan de snelheidsverdeling van sterren in de omgeving van de zon leidde hij af dat er in het Melkwegstelsel ‘donkere materie’ voor moest komen: materie waarvan de zwaartekracht zich wel deed gevoelen, maar waarvan geen zichtbare straling werd ontvangen. Tien jaar later toonde hij aan dat er ook in twee andere sterrenstelsels (NGC 3115 en NGC 4494), ver buiten ons eigen Melkwegstelsel, grote hoeveelheden donkere materie voor moeten komen. Daarmee stond Oort eigenlijk aan de wieg van een van de grootste problemen uit de moderne astronomie: de samenstelling en de verdeling van de donkere materie in het heelal is nog steeds een onopgelost raadsel.
Vrijwel al die ontdekkingen deed Oort in feite aan zijn werktafel bij de Leidse Sterrewacht (wel eens omschreven als ‘de meest ordelijke plaats in het heelal’); vanuit Nederland is per slot van rekening niet veel van de Melkweg te zien. Geen wonder dat Oort, toen hij in 1952 voor het eerst de sterrenhemel van het zuidelijk halfrond in haar volle pracht kon bewonderen, daar gretig gebruik van maakte. Zijn student Gart Westerhout (momenteel wetenschappelijk directeur van het U.S. Naval Observatory in Washington) beschreef welke indruk het op hem maakte toen hij de 52-jarige Oort op zijn rug in het natte gras zag liggen, een longontsteking riskerend, met het Melkwegstelsel recht boven zijn hoofd in het zenit: ‘Hier was de man die 25 jaar eerder als eerste de structuur van het Melkwegstelsel had ontraadseld, en die dat stelsel nu voor het eerst in zich opnam als een natuurverschijnsel waarvan de mens deel uitmaakt. Zijn gefascineerdheid, en de theorieën die zich op dat moment in zijn geest moeten hebben gevormd, vormden een haast tastbare uitstraling’.