In 1938 word hy L.V. vir Stellenbosch en genl. Hertzog het hom in die kabinet aangestel as Minister van Naturellesake, Onderwys en Volkswelsyn. Met die uitbreek van die Tweede Wêreldoorlog het hy genl. Hertzog na die opposisiebanke gevolg.
Fagan het teruggekeer na die Balie, en aanvaar in Maart 1943 'n setel op die regbank van die Kaapse Hooggeregshof. Een van sy grootste take verrig hy in 1946 as voorsitter van die Kommissie van Ondersoek na Naturellewette. Hieruit het voortgekom die Fagan-verslag wat beskou kan word as die wegspringplek van die Suid-Afrikaanse naoorlogse Bantoepolitiek. ‘Want dit het die mate van ekonomiese integrasie van die Bantoe geopenbaar en die land gedwing tot die prinsipiële keuse wat vandag die vernaamste skeiding in die blanke politiek vorm: berusting in en aanpassing by die feite en tendensies soos die Faganverslag dit aangetoon het, of onwrikbare verset teen kruipende swart verowering, en wel deur middel van 'n radikale beleid van aparte territoriale vryheid’. (Die Burger, 9 Desember 1963).
Fagan se bevinding was dat ‘totale segregasie’ onuitvoerbaar is; gelykstelling het hy verwerp.
In 1950 het Fagan appélregter geword, en in Januarie 1957 is hy aangestel as hoofregter tot by sy aftrede in April 1959 toe hy die leeftydgrens van 70 jaar bereik het. 'n Tydlank het hy ook waargeneem as staatshoof.
Hy het weer teruggekeer tot die politiek en in 1961 leier geword van die Nasionale Unie, wat egter swak gevaar het in verkiesings. In 1961 was hy die Opposisiekandidaat vir die presidentskap; in 1962 het die Verenigde Party hom tot senator gekies wat hy gebly het tot aan sy dood.
Sy politieke beskouing van sy laaste jare is saamgevat in twee boeke Our Responsibility (wat ook in Afrikaans en Duits vertaal is), en Co-Existence. Oorleg van die rasse was sy kernbeskouing.
Fagan was lid van die Maatschappij der Nederlandse Letterkunde, en ook van die Suid-Afrikaanse Akademie vir Wetenskap en Kuns. Daarom wil ons kortliks stil staan by sy letterkundige werk.
In 1917 verskyn 'n Eerste Digbundel, en dan swyg hy meer as dertig jaar; in 1949 volg Soos die windjie wat suis en ander gedigte, wat 'n styging in sy poësie aandui.
Uit sy eerste bundel is daar die treffende gedig Op Knysnastrand waarin die dramatiese element op die voorgrond tree, en waarin tegelyk 'n mooi beeld te waardeer is.
In sy jongste bundels is Fagan 'n gerypte mens, het hy reeds helderheid