Поначалу Ханна, пользовавшаяся немалой популярностью, могла сама содержать себя и детей. Однако со временем у нее стал пропадать голос – ее главное сокровище. Именно из-за этого маленький Чарли впервые выступил на сцене: однажды на гастролях голос у Ханны сорвался, и чтобы хоть как-то утихомирить публику, директор труппы вывел к зрителям пятилетнего мальчика, который, совершенно не стесняясь, исполнил несколько популярных песенок. Это было первое выступление Чарли – и последнее его матери.
Лишившись основного дохода, семья Чаплинов все глубже погружалась в бедность. Постепенно растратив все сбережения, распродав все ценное, что было, и даже попытавшись – безрезультатно – через суд выбить алименты из Чаплина-старшего, Ханна с детьми впали практически в нищету. «Это было унылое, безрадостное существование. Матери почти невозможно было найти работу – кроме актерского ремесла, она ничему не была обучена. Маленькая, хрупкая, впечатлительная, она должна была бороться в трудных, непосильных для нее условиях викторианской эпохи, когда богатство и бедность достигли крайних пределов», – писал Чаплин. Иногда ей удавалось заработать, обшивая соседок, но денег катастрофически не хватало. Когда положение стало совсем отчаянным, Ханна решилась вместе с детьми уйти в работный дом.
Работные дома – заведения, где давали оплачиваемую работу и кров в обмен на подчинение весьма строгим правилам, – были созданы с целью помочь армиям нищих и безработных, однако в реальности они превратились в подобие тюрем для тех, кто не преступил закон. Чтобы добровольно поселиться в нем, нужно было дойти до последней степени отчаяния. К тому же детей там помещали отдельно, что для чувствительной и очень привязанной к детям Ханны было дополнительным источником страдания, однако другого выхода не было. В 1895 году Чаплины поселились в Лэмбетском работном доме, откуда через три недели Чарли и Сиднея перевели в Хэнуэлльский приют, расположенный в двадцати милях от города. Чтобы встретиться с сыновьями, Ханна шла на хитрость – заявляла об уходе из работного дома, целый день проводила вместе с детьми, а вечером просила принять ее обратно.
Чарли пробыл в Хэнуэлльском приюте больше года – по сути, это было первое образовательное учреждение, которое он посещал, хотя мать тоже по-своему заботилась об образовании сыновей. «Теперь, когда нас окружала бедность, мы неизбежно переняли бы корявую речь трущоб, если бы мать перестала за этим следить, – писал Чаплин. – Но она всегда внимательно прислушивалась к нашей речи, исправляла наши ошибки и давала нам понять, что мы не должны говорить так, как наши соседи… Несмотря на ту нищету, в которой мы были вынуждены жить, она уберегла нас с Сиднеем от влияния улицы и внушила нам, что мы не просто нищие, что мы – не такие, как все прочие обитатели трущоб, что у нас – особая судьба».