Свиязев понял расчет Аракчеева и Клейнмихеля: архитектору Свиязеву деваться будет некуда, он сам вернется и из милости станет просить оставить его в военных поселениях.
Куда бы ни обращался Свиязев с просьбой принять на работу, все от него отворачивались. Ни Горное ведомство, ни Академия художеств не пошли навстречу.
Михаил Бестужев, брат Бестужевых-декабристов, посоветовал Свиязеву:.
— Поезжайте обратно в Пермь. Там легче будет найти работу.
Как только кончилось всемогущество Аракчеева, Свиязев получил причитающееся ему жалованье за все время службы в военных поселениях и уехал в Пермь.
«Кончились все мои исключительные сношения с военными поселениями, где я видел страшный сон наяву», — писал он.
Основоположник промышленной архитектуры
В феврале 1826 года Свиязев снова появился в Перми в надежде получить работу в Уральском горном правлении.
Уральские горные заводы, как казенные, так и частные, нуждались в ремонте, а многие и в перестройке. Поэтому для находившегося в Перми Уральского горного правления возвращение Свиязева было желательным, и оно обратилось в Горное ведомство с просьбой разрешить принять Свиязева на службу. Департамент горных и соляных дел ответил согласием на прием, но по частному соглашению, т. е. без направления от департамента.
В ожидании ответа горного департамента И. И. Свиязев устроился на временную работу в Сивинском хозяйстве помещиков-заводчиков Всеволожских (ныне на месте этого хозяйства находится село Сива, один из районных центров Пермской области).
Хозяйство Всеволожских ширилось. Энергичные и хозяйственные люди Александр и Никита Всеволожские предложили Свиязеву составить проект переустройства существовавшей суконной фабрики и разработать проекты новых заводов (поташного, стекольного и дубильной толчеи), барского дома, зверинца, теплицы, церкви и парка.
Свиязев с большим интересом взялся за работу и составил проект целого комплекса промышленных и гражданских зданий.
Все постройки были возведены, кроме 96-комнатного барского дома. Сооружение его шло медленно, а когда один из братьев Всеволожских стал разорять имение, приказчики сожгли недостроенный дом; хозяева получили за сгоревший дом крупную сумму страховых.
Сивинское хозяйство Всеволожских, выстроенное крепостными по проекту Свиязева, было интересным уголком в Прикамье. В зверинце содержались животные из различных районов земного шара. На окраине зверинца были построены теплицы со специальными печами, получившими в дальнейшем название «печи Свиязева». В теплицах произрастали разнообразные растения, вплоть до пальм. В Сиве и Кизьве были построены два конных завода и до сорока одноквартирных красивой архитектуры домов для крепостных.