Met de figuur van Tom Brown geeft Hughes een karakterisering van een gemiddelde jongen uit de upper middle classes. De naam Brown heeft hij bewust gekozen, omdat hij voorkwam in het rijtje Brown, Jones en Robinson, karakteristieke namen voor de middle classes in Engeland. Bij Brown hoorde volgens hem geen andere voornaam dan Tom. Bovendien dragen zowel hijzelf als Dr. Arnold de voornaam Thomas. Noch de hoofdpersoon, noch enig ander karakter in het boek is een in werkelijkheid bestaand figuur geweest. De enige uitzondering hierop is Dr. Thomas Arnold.
Het verhaal bestaat uit episodes en bezit geen echt gestructureerd plot. Tom brengt zijn eerste jaren op kostschool door, zich geheel aanpassend aan het systeem. Hij wordt ingewijd in voetbal, cricket en andere schoolactiviteiten. Hij is een opgewekte, eerlijke, probleemloze Engelse jongen, vaak in moeilijkheden maar opgroeiend tot een christen. Hij wordt veel gepest, maar draagt dat dapper. Hij raakt regelmatig in moeilijkheden en krijgt de reputatie van een nogal overmoedige, onverantwoordelijke jongen. Het keerpunt in zijn schoolcarrière komt op het moment dat een timide nieuweling, Arthur, onder zijn hoede wordt geplaatst. Dit geeft Tom een gevoel van verantwoordelijkheid en het maakt hem tot een man. Arthur blijkt een sterk karakter te hebben en Tom laat zich ten slotte helemaal door hem leiden.
Arthurs voorbeeld schenkt hem moed om met zijn vrienden regelmatig de bijbel te lezen en openlijk te bidden. Hughes benadrukt wel de ‘mannelijke’ waarde van Toms geloof.
In 1858 viel de Christian Observer het boek aan, omdat het ‘materialistische, onverschillige, ongeletterde mannen zou voortbrengen, zonder morele gevoelens, niet godsdienstig en verlaten van alle eigenschappen die een man passen - niet alleen om in de hemel te geraken - maar ook om de hogere functies in het maatschappelijk leven te vervullen.’ De Christian Observer acht de christelijke doctrine onvoldoende.
In het laatste hoofdstuk zien we Tom als een jonge man van negentien jaar die zijn laatste dag op Rugby doorbrengt. Hij heeft het gebracht tot captain van het cricketteam.
De figuur van het schoolhoofd Dr. Arnold domineert het boek, hoewel hij feitelijk nauwelijks in het verhaal voorkomt. De eerste en laatste ontmoeting die de lezer met hem heeft, vindt plaats in de kapel. De eerste keer bij zijn preekstoel, de laatste bij zijn graftombe. Tussendoor krijgen we bij vlagen een indruk van hem als een vriendelijke familieman maar een streng schoolhoofd. Hij maakt een keer een fout door een jongen voor de klas te slaan, maar verder is hij van onbesproken gedrag.
Tom realiseert zich uiteindelijk toch hoe belangrijk de Doctor voor