Крепостной оставался собственностью помещика. Такой собственностью помещицы Шаховской был Иван Свиязев.
Начались мрачные дни. Свиязев должен был исполнять капризы помещицы по строительству дома в Перми. Вскоре под его руководством выстроили красивое деревянное здание. К сожалению, оно не сохранилось до наших дней — сгорело во время сильного пожара, бывшего в Перми в 1842 году.
В 1818 году Горный корпус и Академия художеств обратились к Шаховской с просьбой разрешить Свиязеву выехать в Петербург, где ему поручалось строительство императорской бумажной фабрики.
Бумажное производство в России тогда было исключительно ручным. Вручную наливали размельченную массу и вручную же готовые листы бумаги разглаживали деревянными молотками.
Еще в 1813 году было решено построить в Петергофе (ныне Петродворец) казенную бумажную фабрику с машинным способом изготовления бумаги. Отлив полностью механизировался, сушка бумаги должна была осуществляться на цилиндрах, нагретых паром. Для строительства такой фабрики и был вызван в Петербург Свиязев.
Всю свою энергию молодой Свиязев сосредоточил на строительстве еще не бывалой в России бумажной фабрики. Желание строить было так велико, энергии имелось так много, что, работая на строительстве фабрики, одновременно Свиязев стал руководить работами по сооружению петергофских фонтанов.
Построенная Свиязевым Петергофская фабрика была первой в России с непрерывно-поточным производством отлива и сушки бумаги.
В 1819 году Свиязев опубликовал свою первую работу — «Краткое описание императорской бумажной фабрики в Петергофе».
По окончании строительства бумажной фабрики Свиязев обратился в Академию художеств с прошением присвоить ему звание архитектора. В прошении он указывал, что «старается приобретенные им теоретические познания употребить в практику».
Академия художеств рассмотрела представленные Свиязевым рисунки и материалы и присудила ему звание свободного художника архитектуры. Такое звание, как правило, присуждалось только после окончания Академии и то не всем; от некоторых требовалось еще отбыть академическую командировку за границей.
Свиязев не терял надежды вернуться в Академию и получить законченное образование. По приезде в Пермь он просил у Шаховской разрешения продолжать учение. Шаховская отказала, повелев ему быть при имении и «делами строительными ведать и строения хозяйские сохранять».
Вступились за Свиязева Академия художеств и Горный корпус, предложив Шаховской за него выкуп. После длительной переписки и личных выездов в Пермь представителей Академии художеств и Горного корпуса Шаховская отпустила Свиязева на волю, получив за него очень крупную сумму денег.