В 1937 году отца Тома арестовали, и семья решила вернуться в Америку. 12 марта 1938 года Том обратился в посольство США для того, чтобы вернуть свой американский паспорт (по приезде он отказался от американского гражданства). Как только Сговио вышел из посольства, он был арестован. От него потребовали признания в шпионской деятельности. Как и от его соседей по лубянской камере, среди которых было много иностранцев – латышей, чехов и венгров, участвовавших в Октябрьской революции; бывшие герои стали врагами народа.
Иностранцы в годы Большого террора первыми попадали под подозрение. «Признавайтесь, почему вы вернулись, – требовали на допросе в Таганской тюрьме у армянской семьи, приехавшей в Ереван из Америки, – никто в здравом уме не оставит тамошнюю комфортную жизнь. Империалисты заслали вас, чтобы шпионить за нами».
Сговио был отправлен в эшелоне с другими заключенными во Владивосток, а оттуда – в колымские лагеря: «Наш поезд выехал из Москвы вечером 24 июня. Это было началом путешествия в восточном направлении, которое должно было продлиться в месяц. Я никогда не забуду этот момент. Семьдесят мужчин… рыдали». За девять с половиной лет на Колыме ему пришлось работать на шахте и на лесоповале, где люди обмораживались, лица покрывались страшной черной коркой (что он отразил в своих рисунках). Ему удалось выжить лишь благодаря покровительству уголовников, ценивших его художественный талант как татуировщика, и администрации, для которой он рисовал пропагандистские плакаты. Когда его вес стал меньше 50 кг, он вытатуировал на своей коже свое имя, чтобы его смогли опознать после смерти. По окончании срока был повторно арестован и сослан на вечное поселение в Красноярский край, где вновь работал на лесоповале. Только в 1963 году смог вернуться в США.
«Первое, на что я натолкнулась, был… негр, – пишет Тамара Солоневич. – Согласитесь сами, что встретить негра в самом центре Москвы – все же большая редкость. Как затем оказалось, он был представителем американских негров и ведал пропагандой среди негров всех стран, где таковые могли обретаться».
Как можно предположить, то был афроамериканец Ловетт Форт-Уайтмен (1889–1939), известный своими пропагандистскими лекциями о жизни в Америке, с которыми он ездил по всему Советскому Союзу. Еще до того благодаря ему Компартия США впервые достигла значительных успехов в вербовке чернокожих рабочих. В 1928 году он приехал на очередной конгресс Коминтерна и остался в Москве. Закончил МГУ, работал учителем в единственной в то время в Москве англо-американской школе, но в 1937 году написал заявление в Коминтерн с просьбой разрешить ему вернуться в Америку. Уайтмена не отпустили, ведь он был символом черной Америки, и еще неизвестно, что он там стал бы говорить о советской действительности. Его объявили троцкистом, выслали из Москвы в Казахстан, после ссылки он оказался на Колыме, где и погиб в 1939 году.