Оппозиционные настроения Петра Петровича приводили к тому, что все судебные дела он неизменно решал в пользу крестьян. Кончилось это печально. Однажды Петр Петрович сидел на речке и читал газету. Только собрался он искупаться, как вдруг подъехали жандармы, подхватили Петра Петровича под руки, посадили в арестантскую карету и увезли. И только газета осталась в траве шелестеть на ветру.
Вскоре Петра Петровича выслали за «неблагонадежность» в Холмогоры — на родину Ломоносова. К тому времени у него была уже большая семья — ничем не обеспеченных шестеро детей. Жена его — Виктория Тимофеевна — с помощью экономки Акулины Максимовны начала давать обеды и только этим кормила семью. Через полтора года все дети заболели свирепствовавшим тогда в Харькове брюшным тифом, трое из них находились при смерти.
Для «искоренения южнорусской крамолы» губернатором в Харькове был назначен пресловутый Лорис-Меликов. Вот к нему-то и отправилась Виктория Тимофеевна с просьбой освободить мужа, хотя бы для того, чтобы проститься с детьми. Лорис-Меликов разрешил возвратить Кончаловского из ссылки, но при этом добавил: «Я его возвращаю, хоть он такой вредный, что следовало бы его повесить!»
По возвращении в Харьков Петр Петрович еще долгое время оставался под полицейским надзором. Дети его, к счастью, остались живы.
Не было конца оптимизму Петра Петровича. В ссылке он изучил английский язык и сделал новые, полные переводы «Робинзона Крузо» и «Гулливера». Переводы были напечатаны, и с этого времени Петр Петрович, бросив все, с энтузиазмом занялся книгоиздательским делом. Вместе с французом, врачом Кервилли, он открыл в Харькове прекрасный книжный магазин, в котором можно было найти все новинки. Магазин стал очень популярным. Ведала делами магазина Виктория Тимофеевна. Семья Кончаловских материально встала на ноги. Но жандармерия усмотрела здесь вредное влияние революционной интеллигенции, и вскоре магазин был опечатан, доктор Кервилли выслан во Францию, а Виктория Тимофеевна арестована и заключена в харьковскую тюрьму.
Когда все это произошло, Милинйна (так прозвали дети Акулину Максимовну) привезла их в санях к тюрьме, на свидание с матерью. Они прошли гурьбой через тюремный двор, с ужасом глядя на заключенных в гремящих кандалах, которых проводили мимо, и попали в камеру к надзирателю. Два солдата ввели туда Викторию Тимофеевну, и все шестеро детей с громким плачем окружили ее и начали обнимать. Это была такая сильная драматическая сцена, что сам надзиратель не выдержал и стал громко сморкаться.