Больше всего судей раздражало, приводило в неистовство поведение Вукелича. Его били, пытали, морили голодом, не давали ему воды, но он оставался тверд. Презрительно улыбаясь, говорил, что его убеждения — это его личное дело и он не обязан отчитываться перед японской полицией. Почему они свои убеждения считают эталоном для всех остальных людей? Японские секреты его никогда не интересовали. Или, может быть, у судей есть веские доказательства? Но доказательства как раз и отсутствовали. В своих посмертных записках Вукелич указал на причины, побудившие его активно помогать Зорге:
«Успешное строительство социализма и сохранение мира всегда были для меня наиболее желанными целями, и именно эти цели лежали в основе моего согласия работать в секретной организации. Я надеялся, что мои усилия получат соответствующее признание и в будущем мне разрешат поехать в Советский Союз, чтобы испытать счастье мирной и культурной жизни в мире социализма, в строительстве которого я участвовал сам своей секретной работой».
Бранко Вукелича обрекли на пожизненное заключение и бросили в страшную тюрьму Сугамо, где он находился до июля 1944 года. Неожиданно Иосико разрешили свидание с мужем. Она взяла трехлетнего Хироси и отправилась в тюрьму. Свидание продолжалось всего несколько минут. Их разделяла решетка. Бранко протянул руки к сыну. Стражник отвернулся. Разговаривать приходилось громко, обязательно на японском. Вид Бранко был ужасен. Он почти совсем ослеп, остались кожа до кости. Но держался с присущей ему бодростью, острил и делал вид неунывающего человека. Иосико понимала, какие вести его интересуют больше всего, и сказала по-английски: «Советские войска подходят к границам Германии».
Время истекло. Это была их последняя встреча. Вскоре Бранко Вукелича сослали на каторгу в Абасири (северная часть острова Хоккайдо). Нет в Японии более мрачного места, чем Абасири. Зимой здесь бывают сорокаградусные морозы. В начале весны здесь неделями стоят густые туманы, часто наступает сильное похолодание. Заключенные, которых поместили в дощатые бараки, спали на оледенелых циновках. Потому-то с приходом зимы в Абасири умирали сотнями от воспаления легких и других болезней.
Как известно, Вукелич в совершенстве владел разговорным японским языком, но письма жене и сыну писал на английском, так как запомнить несколько тысяч иероглифов он не мог. Тюремные цензоры переводили его письма на японский и только после этого отправляли адресату. Потому-то Иосико получала весточки от мужа с большим запозданием. Бранко скоро догадался, почему задерживаются письма, и всерьез занялся иероглифами, катаканой и хираганой.