Березовскими Починками не окончились ссыльные скитания молодого писателя. Вятская администрация не оставляла в покое Короленко, видя в нем весьма опасного врага самодержавия. В январе 1880 года против него было затеяно новое дело. Он обвинялся в самовольных отлучках с места ссылки и в недозволенных связях с политическими ссыльными. Вероятней всего, личность Короленко продолжала интересовать и высшие полицейские власти в связи с усилившейся деятельностью народовольцев. Вскоре после покушения на Александра II в январе 1880 года Короленко был арестован, доставлен в Вятку, а затем заключен в вышневолоцкую политическую тюрьму. Предполагалась ссылка его в Восточную Сибирь, но из Томска писатель был возвращен на поселение в Пермскую губернию.
Находясь в Перми на положении ссыльного, Короленко перепробовал несколько профессий: сапожника, табельщика, письмоводителя стола статистики на Уральско–Горнозаводской железной дороге. Здесь он работает до 11 августа 1881 года — дня очередного ареста, после которого последовала самая длительная и самая отдаленная ссылка.
Первого марта 1881 года был убит народовольцами Александр II. Правительство Александра III потребовало, чтобы часть политических ссыльных была приведена к специальной присяге. Текст такой присяги получил и Короленко, но подписать его демонстративно отказался. В заявлении на имя пермского губернатора Короленко называет факты дикого произвола царской власти, действия которой направлены исключительно на подавление народа. Вот почему, пишет Короленко, «совесть запрещает мне произнести требуемое от меня обещание в существующей форме». «Я не мог поступить иначе», — сообщал он тогда же в письме к брату.
В отказе от присяги полицейские власти усмотрели особо «враждебное настроение». В дело «государственного преступника», «сапожника и живописца», как именовался Короленко в жандармских документах, была дополнительно внесена резкая характеристика, требовавшая самых суровых мер наказания. Его арестовали и, соблюдая особые предосторожности, как крайне опасного преступника увезли в Сибирь. Не зная, что его ждет в дальнейшем, доведенный до отчаяния, Короленко, находясь в одиночке военнокаторжного отделения тобольской тюрьмы, написал стихотворение, где выразил невеселые свои настроения:
Вкруг меня оружье, шпоры,
Сабли звякают, бренчат.
И у «каторжной» затворы
На пол падают, гремят.
И за мной закрылись двери,
Застонал, звеня, замок…
Грязно, душно, стены серы…
Мир — тюрьма… Я одинок…
А в груди так много силы,
Есть чем жить, страдать, любить…