В Сидней-Тауне, Куинсборо и Филлипсберге по-прежнему то и дело вспыхивали ссоры между предприимчивыми огородниками-каторжниками и ленивыми солдатами. Многие из вновь прибывших каторжников были настолько больны, что не могли работать; некоторые умирали, сильные отнимали у слабых еду и одежду. Те же, на кого возложили обязанность кормить больных и праздных, мрачнели день ото дня – особенно те островитяне, которые еще не были помилованы и, следовательно, не имели права оставлять себе весь урожай или продавать его правительству.
В той части острова, где располагался Филлипсберг, голод был обычным явлением: поселения, находящиеся всего в трех милях от дороги, оказывались в такой же изоляции, как Порт-Джексон. В Филлипсберге выращивали меньше съедобных растений, засевая большинство полей льном; привоз провизии из южных областей острова был возложен на коменданта Эндрю Хьюма. Но он предпочитал сколачивать состояние, выгодно продавая грубую ткань, и не раз навлекал на себя гнев майора Росса, урезая пайки своим работникам, чтобы продавать провизию солдатам, живущим неподалеку, у Каскад-роуд. Поскольку в подчинении у вице-губернатора теперь состояли только солдаты корпуса Нового Южного Уэльса, Россу никак не удавалось поддерживать порядок в Филлипсберге и разрушить альянс Хьюма и капитана Хилла. Один из работников ткацкой фабрики, измученный голодом, съел в лесу растение, которое принял за капусту, и умер. Но даже после этого случая Хьюм продолжал мошенничать и обирать колонистов, заручившись поддержкой Хилла и его солдат.
Причиной всех бедствий островитян стало выращивание съедобных растений и животных; глубокая пропасть пролегла между теми, кто ел досыта, и теми, кто ничего не выращивал, и с каждым днем эта пропасть становилась все шире – под свист плетки и вопли тех, кто подвергался порке. При телесных наказаниях были обязаны присутствовать доктора, поэтому Коллам, Уэнтуорт, Консиден и Джеймисон заключили между собой тайный сговор: после пятнадцати – пятидесяти ударов они требовали прекратить порку и возобновить ее лишь после того, как наказуемый поправится. Таким образом, все двести ударов виновники получали по частям, в течение долгого времени, и обычно майор Росс прощал их прежде, чем плетка успевала нанести непоправимый ущерб здоровью.
На острове все чаще устраивали судебные процессы, которые заканчивались яростными спорами и вызывали острое недовольство: зачастую заинтересованные стороны обвиняли друг друга в пристрастности, будь она истинной или мнимой. Большинство моряков и солдат, в том числе и офицеры, были необразованными, ограниченными, вспыльчивыми, незрелыми людьми, к тому же они отличались поразительным легковерием. Небольшая размолвка вырастала до размеров непростительного оскорбления, слухи о ней разлетались по всему острову, сплетников хватало как среди свободных колонистов, так и среди каторжников.