После возвращения он поселился отдельно от родителей, на съемной комнате, которую арендовал у явных пьяниц, с которыми и продолжал пить вместе. С отцом близких отношений не поддерживал, хотя деньги у него иногда и брал. Иван Сергеевич, как ни пытался, никакого контакта с ним наладить не мог. Он в это время преподавал в профтехучилище, где народ был постарше, чем в обычной школе, то есть более вменяемый, и продолжал пополнять свою коллекцию, послужившую основой экспозиции краеведческого музея.
Тут следует привести небольшую историческую справку. Самим своим основанием Любимов был обязан знаменитой иконе – так называемой
"Богородице с ручкой". Впервые эта икона явилась, или, как принято говорить, "была обретена", в 1368 году. Существовала целая легенда, как она выбирала свое место, то есть переходила с одного берега реки на другой. Точнее икону неоднократно пытались переносить, но она вновь и вновь возвращалась на то самое место, и на тот самый камень, где впервые ее и нашли, и где в тот же год поставили маленькую деревянную часовенку. А потом начались чудеса, исцеления и паломничество. Позднее здесь был основан сначала мужской монастырь, потом женский и только затем город, ставший широко известным в
России исключительно благодаря чудотворной иконе. Основанием же города считают год 1538, еще при регентше Елене Глинской – матери
Ивана Грозного. Нашли грамоту, в которой местные помещики писали ей, что "реки-де пришли большия и лесу тут много и место под город пригоже, собою крепко и не песковато". Позднее новому городу сильно досталось от опричников, с тех пор сохранилось даже название близлежащей деревеньки – Скуратово, переименованной после революции в совхоз Коммунары. Известно, что в 1612 году Любимов разграбили поляки, а уже в 1614 его полностью сжег знаменитый разбойник Иван
Заруцкий. Город неоднократно страдал от пожаров, и в последний раз сильно горел в 1918 году, когда начисто выгорел весь городской архив, в связи с чем документальная история Любимова очень фрагментарна. В легендах и частных описаниях дореволюционного времени остались лишь темные истории о злобных помещиках и одиозных личностях, таких как некая помещица Грязева ("Грязиха") и помещик
Матюшин. Других каких-либо интересных событий не описано. В девятнадцатом город потихоньку развивался и расширялся. Впрочем, выпущенный в 1910 году справочник "Города России" писал тогда:
"Числясь уездным городом, он скорее не город, а село. Любимов лишен почти всякого благоустройства: мостовые ужасны, освещение почти отсутствует. Извозчиков не видно…". В то же время на каждой сохранившейся фотографии из того периода можно было видеть дворника в фартуке и с метлой, да и городовой всегда где-то на заднем плане маячил. В настоящее время ни дворника, ни милиционера увидеть на улице Любимова практически невозможно.