Заключенные мужчины и женщины, солдаты, офицеры, несколько врачей и священник - все отправляются в путь, как по своей воле, так и вопреки ей, для основания новой колонии. Наши современники удивляются тому, что среди вольных людей, посланных правительством, не было ни одного садовника или агронома. Большинство заключенных выросли в трущобах больших городов Англии и никогда не занимались ремеслом, лишь некоторые, особенно осужденные за контрабанду, знали толк в рыболовстве. Как можно было ожидать, что ловкий карманный вор или искусный фальшивомонетчик смогут обрабатывать землю? А многочисленные проститутки, чем их занять?
Возникают некоторые вопросы по поводу точного числа заключенных. При отплытии первой флотилии из Англии всего в ней было 759 заключенных, включая 16 детей и двух женщин весьма преклонного возраста - Элизабет Бекфорд 70 лет и Дороти Хендленд (известной также по кличке Грей), которой было 82 года, когда ее приговорили за мошенничество.
Судя по сопроводительным документам, заключенные принадлежат к изгоям общества. За многими из сопровождающих солдат морской пехоты тоже числятся неблаговидные проступки, за которые полагалась каторга, но их помиловали при условии, что они изъявят желание отправиться в Новый Южный Уэльс. Некоторые солдаты были направлены в штрафные воинские части, хотя вряд ли имелись сколько-нибудь ясные представления о месте прохождения службы, кроме того, что оно находится очень далеко от Англии. Впрочем, положение солдат было несравнимо лучше, чем положение заключенных, когда первая флотилия достигла места назначения.
Хотя любое увольнение на берег для моряков было исключено, тем не менее более ста из них дезертировали еще до выхода судов в море. Они знали, что их ждет впереди: долгие месяцы и годы с ними будут обращаться как с собаками, а многие из них, вероятно, никогда не увидят снова зеленые поля Англии, поскольку они умрут от болезней во время продолжительного плавания. Один молодой человек, сын сапожника, был настолько недальновиден, что добровольно завербовался во флот. Об обстановке на судне во время плавания он пишет: "Что может еще сказать молодой человек, который, попав на военный корабль за кров и стол, сразу же вынужден расстаться со свободой слова и действий. Конечно, ему нельзя помешать думать, но он должен хранить свои мысли в глубине души, никогда с позволяя им выскользнуть в ходе разговоров. Я бывал на юте только во время вахтенной службы; мне разрешалось отвечать только "Да, сэр", когда ко мне обращались, и одновременно я отдавал честь как необходимую дань уважения офицерам. Матросов наказывали за самую ничтожную ошибку или оплошность, например если не услышишь, когда будят на ночную вахту, или если не исполнишь порученное задание достаточно четко, хотя на самом деле все может быть сделано наилучшим образом и не ясно, в чем заключается погрешность; тем не менее тебя хватают и заковывают в железо".