По возвращению в Москву, благодаря помощи знакомому члену Моссовета[7], Сергею Федоровичу удалось остаться в Москве, и вскоре он стал работать экономистом в столовой № 23, а позднее экономистом на строительстве домов для метростроевцев.
2 ноября 1932 года на квартиру Луговских неожиданно пришли с ордером на обыск. Любовь Васильевна при этом вела себя достаточно агрессивно, а девочки насмешливо следили за сотрудниками органов ОГПУ, проводивших обыск, на каждое замечание отвечали какой-нибудь колкостью, все время посмеивались над ними, но при этом страшно нервничали из-за дневников, особенно Нина, судя по ее записям: «Как вспоминала, что у меня там написано, так жутко становилось».
Весной 1933 года, с началом паспортизации в стране, Сергею Федоровичу отказали в московской прописке, в десятидневный срок он должен был выехать из Москвы. Здоровье его к тому времени ухудшилось: он сильно осунулся, пожелтел, морщины стали резче вырисовываться на хмуром суровом лице, при этом он еще стал слепнуть, что очень волновало жену.
Взаимоотношения с дочерьми у Сергея Федоровича были очень сложные: их неорганизованность, равнодушие к политической жизни, увлечение мальчиками его сильно раздражали, он постоянно ссорился с ними, и больше всего столкновений у него было с младшей дочерью. Многие записи в ее дневнике об отце очень резки, есть даже записи о ненависти к отцу, но при этом она и восхищалась его твердостью: «Я люблю его, когда он революционер, люблю его человеком идеи, человеком дела, человеком, стойко держащимся своих взглядов, не променявших их ни на какие блага жизни».
Сергей Федорович, выехав из Москвы, поселился в деревне Марьин Брод Можайского района, где работал на строительстве, но через год был вынужден выйти на пенсию по здоровью, став инвалидом 2-й группы. С лета 1934 года он нелегально прибыл в Москву и тайно проживал на разных квартирах: жены, своей сестры Дарьи Федоровны и двоюродного брата, Никиты Рыбина. По инициативе Любови Васильевны с 1934 года, когда муж стал нелегально проживать в Москве, в семье было условлено о пароле, что позднее, при аресте, было использовано следствием в обвинении. Сергей Федорович должен был определенным стуком в дверь сообщать о своем прибытии.
Летом 1935 года Нина активно помогала Любови Васильевне, она принимала экзамены у рабочих, поступающих в новую вечернюю семилетку. Первое в жизни столкновение с простыми людьми в этой обстановке сильно поразило ее, и в дневнике она отметила, какими покорными и робкими детьми становились рабочие, очутившись в школе, как у них от волнения дрожали руки, как они краснели, запинались и как-то дружелюбно и ласково обращались к ней.