К этому времени в России сформировался устойчивый спрос на льняные и хлопчатобумажные ткани, миткаль и ситец. После войны 1812 года почти все ситценабивные фабрики в Москве оказались разрушенными. И именно в провинциях сосредотачивалась основная масса умельцев-кустарей горшечников и набойщиков, которыми всегда славилась Русь. Поэтому, создавать ткацкие производства в провинции, скупая у кустарей за бесценок миткаль и пряжу, сделалось выгодно.
Иван и решил заняться ткацким производством, для чего поехал на малую родину на Владимирщину. Поставил для себя и семьи, рядом с дедовым домом новый каменный дом на дворянский манер. Запустил заглохший уж было кирпичный завод и возвел в нескольких верстах от себя ткацкую фабрику и рабочий поселок, вдохнув в них новую жизнь.
Место, где выросла ткацкая фабрика, – и впрямь, оказалось удачным: на пологом возвышении, за которым был скат к реке. Неподалеку находился пруд, а за ним простирались поля и луга, как будто специально созданные для сушки холстов и бельников. Необходимые для работы фабрики паровые машины, котлы и станки закупили на нижегородской ярмарке через посредническую английскую контору, доставив их баржой по Волге и обозами по суше.
Два шустрых и ловких приказчиков разъезжали по селам и деревням, отдавая пряжу в работу, и забирая готовую ткань, которую переправляли в Москву. Скупали у мастеров выбеленный миткаль, проколандривали на новой ткацкой фабрике, здесь же высушивали и набивали рисунок, и отвозили обозами или железной дорогой также в Москву на продажу.
Спустя несколько лет возвели ещё два каменных корпуса, скупая сырье через английские торговые дома из Америки, из Бухары. А чтобы заезжий перекупщик не составил конкуренции, Ухтомцев открыл при фабрике раздаточную контору, чтобы местные кустари брали у него крашеную пряжу и ткали дома, занимались размоткой бумажной пряжи и приготовлением основ. В домашних условиях кустари делали бумажную дешевую сарпинку или холстинку, и полосатый портяночный тик, идущий потом на перины и тюфяки. Вскоре фабрика начала приносить Ухтомцеву стабильный и миллионный доход. Однако же он не забывал и про торговые лавки в Гостином дворе, в которых в его отсутствие успешно справлялся приказчик и доверенный Александры Васильевны Голованов Гаврила Андреевич.
Благосостояние предприимчивых братьев неуклонно росло из года в год. И в 1868 год фабриканты вошли уверенной походкой «миллионщиков», владея капиталами, в размере 1 миллиона 500 тысяч рублей.
Многократное увеличение дохода за счёт успешного ведения дел, увеличения производительности труда наёмных рабочих за счёт внедрения машинного труда, и объективно увеличивающийся с каждым годом приток рабочей силы из деревень, а следовательно возрастающая дешевизна рабочих рук, – постепенно изменяли нравственный облик старших братьев Ухтомцевых. Превратив в конечном итоге обоих в совершенно новый и необыкновенный тип дельцов, в характере которых самым причудливым образом переплетались, как хищнические черты циничных и хватких капиталистов, так и присущие православному русскому человеку черты совестливости и искренней благотворительной помощи ближним. Но если последнее больше было присуще старшему Фёдору Кузьмичу, то про Ивана Ухтомцева такого сказать было нельзя. С годами характер его поменялся, превратив в хищного, хитрого и изворотливого дельца.