Так начался их путь на юг — с двумя червонцами в кармане. По дороге заезжали к Алешиной бабушке в Боровск, где прожили неделю. Запомнились дом, где ночевал Наполеон, могила боярыни Морозовой, Пафнутьевский монастырь, основанный Годуновым, старообрядческие храмы. От Малоярославца до Харькова добирались уже пешком или «зайцами», в товарных вагонах или на крышах. Этот способ путешествия за годы скитаний был хорошо освоен Алешей. У Гриши такого опыта не было, и вообще ему было труднее: он никогда не выезжал из Питера дальше Лигова и Петергофа. Он заскучал по матери, по улицам родного города. Но главное — слишком ничтожным показался ему результат совместного путешествия: он рассчитывал на лавры киноартиста или кинорежиссера, а вместо этого с трудом удалось получить (и не на Кавказе, а в Харькове) на двоих одно место — ученика киномеханика в кинобудке (да и не было великой удачей). Гриша жребий тянуть отказался, и друзья расстались. Белых уехал домой.
Работа Алеше понравилась, но у него не было ни жилья, ни прописки: оформить его на работу не могли. Месяц или два ночевал он попеременно в Ботаническом или Зоологическом садах, рисовал плакаты, ярлыки с ценами для рыночных торговок.
Маму расстраивать не хотелось, писал ей «радужные», завиральные письма. Но пришел день, когда Алеша не выдержал и написал ей, что «в данный момент» оказался «не при деньгах». Мама перевела, сколько сумела: три рубля. Алексей Иванович вспоминает очередь к окошечку «до востребования». Перед этим он три дня ничего не ел («только воду стегал») и съел лишь подобранный на улице огрызок абрикоса, вымыв его предварительно в струе городского фонтана. Не дойдя до почтового отделения, обессилел, зашатался и упал.
Вообще, южные злоключения и приключения друзей были довольно трудными, но ни разу они не взяли ничего чужого — после Шкиды этого уже быть не могло. Еще боле сложной оказалась жизнь Алеши, когда он остался один. Одно время он был поводырем слепого нищего, бывшего мельника; сам не просил, но — милостыню ел. Именно тогда встретился ему ловкий и неунывающий Аркашка, суливший своему новому приятелю легкую жизнь. Постоянно на пути подстерегали всякого рода соблазны, напоминавшие о прошлом. Из этих серьезных испытаний, из трудной борьбы с обстоятельствами он вышел победителем, но не забыл ни встреч на его пути, ни тех беспризорных ребят, с которыми снова свела его судьба. Эти впечатления немного позже нашли отражение в рассказе «Портрет», в повести «Часы».
Запомнилось навсегда возвращение в Петроград. Перебираясь с поезда на поезд, а в последний раз в вагоне, груженном углем, он добрался до Николаевского (Московского) вокзала и, оборванный, вымазанный углем, черный, страшный, пугая прохожих, оказался наконец у себя дома.