Het wordt voor het eerst in 1293 vermeld. Tot de oudste delen behoren de ridderzaal aan de zuidzijde - het ‘Princekwartier’ - met haaks daarop aan de westzijde de kapel, waar omstreeks 1380 het Heilig Bloedwonder plaatsvond. De ridderzaal heeft nog een 14de-eeuwse kap met tongewelf. De oorspronkelijke vakwerkwanden werden in de 16de eeuw vervangen door stenen muren. Aan het eind van de 15de eeuw liet Hendrik van Ranst het kasteel uitbreiden, onder meer met de naast het poortgebouw aan de oostzijde gelegen toren. De torens aan de westzijde en de vierkante toren aan de noordzijde, zijn 16de-eeuws, evenals de hoofdvorm van de aansluitende noordvleugel - het ‘nieuwe gedeelte’. Van 1534 tot 1783 was Stapelen in het bezit van het geslacht Van Horn, dat diverse verbouwingen doorvoerde. In de kapel staat nog een laat-16de-eeuws houten retabel met schildering van de graflegging van Christus en hun wapen. Het poortgebouw zal uit het eind van de 16de of het begin van de 17de eeuw stammen.
In 1857 kwam het kasteel in het bezit van J.H. Malie, die het in 1857-'58 onder leiding van A. Goyaerts uit Tilburg ingrijpend liet verbouwen. In de trant van de Willem II-gotiek werd het kasteelachtige uiterlijk versterkt door toevoeging van kantelen, pinakels, boogfriezen en rondboogvensters. Verder werden de torens verhoogd, het poortgebouw bepleisterd, de voorgevel van de kapel vernieuwd en de driezijdig gesloten uitbouwen aan de zuidzijde toegevoegd. Het ‘oude koetshuis’ op de noordwesthoek is eveneens grotendeels 19de-eeuws. De ridderzaal kreeg een neogotisch interieur met nieuw plafond. In 1915 werd het kasteel eigendom van de paters Assumptionisten.
Het voorm. internaat Stapelen (Prins Hendrikstraat 49) werd in 1927 gebouwd naar plannen van J. Tonino in expressionistische vormen en met neoromaanse elementen.
De R.K. landbouwschool (Pastoor Erasstraat 14) uit 1914 is een groot pand in sobere jugendstil-vormen.
Het raadhuis (Markt 1) werd in 1936 in traditionele vormen opgetrokken naar ontwerp van C. Roffelsen.
Woonhuizen. Kruisstraat 5 is een woon- en winkelpand uit 1833 met een mogelijk oudere kern. Aan de Markt staan wellicht ook nog enkele panden met een oude kern. Het vroeg-19de-eeuwse, neoclassicistische herenhuis Clarissenstraat 37, met stoeppalen en jaloeziekasten, heeft tegen het koetshuis twee opmerkelijke aangebouwde hondenhokken uit 1880. Vanaf het midden van de 19de eeuw verrezen een aantal grote herenhuizen, waaronder Clarissenstraat 22 uit omstreeks 1840 en Bosscheweg 1-3 uit 1870. Voorbeelden uit van eclectische panden met stoeppalen uit die tijd zijn Stationsstraat 45 en Stationsstraat 69. Neogotische vormen heeft Clarissenstraat 8, gebouwd in 1896 naar plannen van W.Th. van Aalst. Boxtel heeft goede voorbeelden van jugendstil, zoals de villa Clarissenstraat 20 uit 1903, met dienstwoning en koetshuis (Koppel la), het winkelpand Kruisstraat 7 (omstreeks 1905), Stationsstraat 28 (omstreeks 1908) en villa Pfaff (Rechterstraat 55) uit 1911.
Industriegebouwen. De voorm. brouwerij ‘Het Anker’ (Duinendal 4) is een onderkelderd pand met puntgevel uit de 17de eeuw. De voorm. damastweverij Zandvliet 1-3 stamt uit 1850. Het station (Stationsplein 10) is een eilandstation met een stationsgebouw vierde klasse, gebouwd in 1863 naar plannen van K.H. van Brederode. In 1872 werd het gedeeltelijk vernieuwd en verlengd tot een station tweede klasse, waarna in 1890 nog een uitbreiding aan de linkerzijde volgde. De luifel uit 1872 rust op gietijzeren kolommen met consoles, die met klaverbladmotieven en fabeldieren zijn versierd.
Lennisheuvel. Dit gehucht ten zuiden van Boxtel ontstond in de middeleeuwen. De R.K. St.-Theresiakerk (Lennisheuvel 50) is een eenbeukige kerk met terzijde staande toren in sober expressionistische vormen, gebouwd in 1925 naar plannen van J. van Groenendael. De grote kortgevelboerderij Lennisheuvel 93 heeft een 17de-eeuws woonhuisgedeelte; de langsdeelschuur, de karschop en het bakhuis dateren uit de 18de- en 19de eeuw.