Нажив миллионы, Яковлев еще более умножил свое состояние скупкою фабрик и заводов; так, в 1764 году он купил Ярославскую Большую мануфактуру, а затем, начиная с 1779 года, начал скупать на Урале горные заводы.
Первый завод, купленный им там, был Невьянский.
Невьянский завод, эта, да будет дозволено так выразиться, колыбель уральской железоделательной промышленности, и попала путем покупки у Прокопия Акинфиевича Демидова, внука Никиты Демидовича, в руки С. Я. Яковлева.
Одновременно с Невьянским заводом П. А. Демидов продал Яковлеву еще пять заводов: Бынговский, Шуралинский, Верхнетагильский, Шайтанский и Верх-Нейвинский, взяв за все всего лишь 800 тысяч рублей, сумму, по сравнению с действительною их стоимостью, ничтожную. Продал все эти заводы П. Демидов потому, что «недоволен был своими сыновьями».
Помимо этого, в том же 1769 году купил С. Яковлев у генерал-прокурора генерал-кригскомиссара А. И. Глебова Холуницкие горные заводы, состоявшие из заводов: Белохолуницкого со вспомогательным при нем Богородицким, Климковского и Чернохолуницкого, а через пять лет после этого, а именно — в 1774 году, купил у графа Воронцова за 200 000 рублей Верх-Исетский завод.
Всего в течение своей жизни С. Яковлев скупил и построил 22 завода и, благодаря этому, сделался самым крупным русским заводчиком.
Время нахождения заводов во владении С. Яковлева оставило по себе на Урале недобрую память; и вообще-то крепостному населению жилось на заводах не сладко: жестокие истязания, кнут, плети, каторжные избы, колодки, цепи были в большом ходу; с переходом же заводов к С. Яковлеву положение рабочих сделалось еще хуже: помимо всего прочего, их стали обременять непосильными работами.
Насколько тяжело жилось рабочим на заводах Яковлева — можно судить по тому, что, по словам одного из историков Урала, в старом хозяйском доме на Невьянском заводе находили человеческие скелеты, прикованные на цепях к стенам. Немало также имеется свидетельств, а еще того больше — преданий о возвышающейся над Невьянским заводом покосившейся башне, на которой теперь бьют одни куранты, а в прежние времена, как гласит предание, производился дозор за всем, что делалось в окружности. Впрочем, наилучшею характеристикою положения рабочих на заводах Яковлева во время нахождения их в его владении может служить нижеследующий факт.
Объявил в 1764 году приписной к Невьянскому заводу крестьянин Алексей Федоровых, впоследствии переименованный Поляковым, о «золотых рудах», найденных им в даче П. А. Демидова. Ни правительство, ни Демидов не обратили внимания на заявление крестьянина: при новом содержателе заводов — Собакине, Федоровых напомнил правительству о своей находке. Такое заявление испугало Собакина тем, что у него отнимут земли, и он приказал заарестовать Федоровых. Отца и сына схватили в Ирбите, отняли у них товар и 3 000 рублей денег и в глухой повозке отвезли в Невьянск, а отсюда сына «на судне до Костромы, оттоль к Нижний Новгород отправили», отца же, сильно «изувеченного» еще в Ирбите, держали в оковах до 1797 года. Каким-то образом Алексею Федоровых удалось подать на Высочайшее имя прошение, в котором он просил освободить его от оков и принять в покровительство Берг-Коллегии. Указом Коллегии в 1797 году велено было канцелярии главного правления заводов Федоровых освободить и допустить к разрабатыванию золотых руд, объявленных им в 1764 году. Кроме того, предписывалось произвести дознание о тех притеснениях, которым подвергались Федоровых, а также и о том, почему объявленные прииски через 33 года были не открыты и не изведаны.