Het merendeel van die kolonisten waren mensen die zich wel eens vergrepen hadden, maar geen misdadigers, en zij werden fatsoenlijke veefokkers, landbouwers, ambachtslieden. Er bevond zich echter ook slecht volk onder, mensen voor wie daarginds weer gevangenissen gebouwd zouden moeten worden. De moordenaars en rovers werden gehangen, maar voor de overigen zag de gouverneur op zijn beurt uit naar een ballingsoord. Een kapitein beval Van Diemensland aan, een eiland zelfs van Australië in die dagen van de zeilvaart moeilijk te bereiken, het kon voor Nieuw-Zuid-Wales worden wat dit land voor Engeland was, een oord aan het uiterste eind van de wereld, een Botany Bay voor Botany Bay.
Het lag van Australië gescheiden door de Straat van Bass, waar de aanhoudende stormwinden de vaart voor kleine schepen hachelijk maakten, bijna overal met steile rotsen waar de hoge zeeën tegen sloegen. Er waren al enige mannen heengetrokken, die een moeilijk bestaan vonden met de robbejacht, zij hadden er hun hutten aan sommige inhammen, voortdurend door de inboorlingen bedreigd. Walvisvaarders legden er aan om hout en water. Het was een land van dennebomen en struikgewas, er konden kangoeroes en opossums gejaagd worden, maar planten voor voedsel vond men er niet. Om het klimaat te verdragen moest men sterk zijn. Het lag midden in de baan van de onveranderlijke hevige wind die rondom de aarde waait tussen het poolgebied en Kaap Hoorn, een wind die nergens weerstand vond behalve op de rotsen van dit eiland, zodat de zeeën die hij voortjoeg er breken moesten. Regen of hagel het ganse jaar.
Wie daarheen gebracht werd was hopeloos verbannen, zonder enige kans op ontvluchting; indien het hem gelukte veilig Straat Bass over te steken en het vasteland te bereiken, bevond hij zich onder de mensen die hem uitgestoten hadden; in het binnenland wachtten hem de honger en de vijandschap der inboorlingen; oostwaarts zou hij vijftienhonderd mijl moeten gaan voor hij land zag; naar het westen te varen scheen onmogelijk, de schepen die naar huis keerden namen ook de weg van Kaap Hoorn.
Omstreeks 1804 zond de gouverneur van Nieuw-Zuid-Wales er een troep gevangenen heen. Een paar jaar later kwam de eerste lading uit Engeland en voortaan, tot na 1850, werden er jaarlijks tweeduizend veroordeelden uit Londen verscheept.