Дело разбирала Варшавская судебная палата. Было предъявлено 22 обвинения — 21 пункт отпал (среди обвинений было — знание польского языка, умение танцевать мазурку, отсутствие иллюминации в канцелярии в день именин императора и т. д.), но за проведение статистического обследования губернии, что было расценено как превышение власти, Константин Игнатьевич был лишен права занимать административные должности, все судебные издержки возложили на него. Он подал апелляцию в Сенат, однако Сенат не спешил разбирать дело. Начались мытарства в поисках работы у частных лиц. Для уплаты судебных издержек пришлось распродать все, что имели.
Три благополучных года в Гроеце кончились. Крупские переехали в Варшаву и поселились в квартале бедноты. «Когда мне было пять лет, мы жили в Варшаве и очень бедствовали, жили в чужих квартирах, — вспоминала Надежда Константиновна. — Я помню сценку. Какая-то черная лестница, по которой мы поднимаемся с мамой, чтобы посмотреть новую квартиру, куда мы должны были перебраться в тот же день. Но когда мать открыла дверь, оказалось, что старые жильцы еще не выехали. Это были портные; в большой комнате они сидели на столах, поджавши ноги, что-то шили, и рядом с одним из них лежали большие ножницы». Во дворах бегали детишки разных национальностей. «…Я играла во дворе с ребятами — польскими, еврейскими, татарскими. Мы очень дружно играли, нам было очень весело. Мы угощали друг друга чем могли».
Человеку, состоящему под следствием, трудно найти работу. Приходилось перебиваться случайными, временными заработками. Один из товарищей-народников познакомил Крупского с Константином Александровичем Варгуниным. Братья Варгунины, имевшие писчебумажные фабрики, были культурными людьми, отличались либеральными взглядами, но на фабрике, в Угличе, где пришлось работать Константину Игнатьевичу, делами вершил компаньон Варгуниных — англичанин Говард. И когда, представляя отчет хозяину, Крупский рассказал о злоупотреблениях компаньона, о его нетерпимом отношении к рабочим и работницам, Константин Александрович Варгунин лишь печально развел руками.
Родители не запрещали маленькой Наде играть с ребятишками рабочих, часами сортировать утиль вместе с девочками-подростками. Мать и отец старались воспитать в дочери честность, трудолюбие, понимание того, кто создает все общественные богатства. Константин Игнатьевич и Елизавета Васильевна хотели, чтобы их дочь вошла в жизнь человеком с сильным характером и обо всем имела собственное мнение, поэтому при ней они говорили о бесправии рабочих, возмущались фабричными порядками. Справедливость их слов маленькая девочка видела ежедневно на фабрике. И Надежда Константиновна писала много лет спустя: «В шесть лет я научилась ненавидеть фабрикантов».