А когда Свиязев подал рапорт начальнику штаба военных поселений Клейнмихелю, Аракчеев вызвал Свиязева и заявил:
— Я — старик, мне 58 лет, а у тебя еще молоко матери на губах не высохло.
Просьба об уплате обещанного жалования не была удовлетворена. В эти минуты тяжелых переживаний Свиязев обратился за советом в Академию художеств.
— Господин Свиязев, — ответил президент Академии, — мы выкупили вас у Варвары Сергеевны (Шаховской — А. Ш) за сумму почти тридцатилетнего вашего жалованья, но Алексей Андреевич (Аракчеев) людей не продает, он может бесплатно отправить на тот свет.
На «тот свет» Свиязева не отправили, но уволили. Аракчеев написал:
«Граф Аракчеев весьма удивляется, что господин молодой мальчик Свиязев не уважил того, что граф призывал его лично к себе и объявил решительную свою волю в рассуждении назначения ему жалованья, на что он был согласен и после того осмелился вторично переменить свои мысли и писать к начальнику штаба возвращаемое при сем к нему письмо, что доказывает его молодость и неосновательность, вследствие чего увольняет его из корпуса военных поселений и прикажет сделать расчет его жаловании.
Граф Аракчеев».
«Полагаю, что эта грамотка написана под диктовку самого графа, — читаем в воспоминаниях Свиязева, — но чем она была безграмотнее, тем худших последствий должен был я ожидать для себя, что граф шутить не любит, что подтверждали и посещавшие меня офицеры. «Если б граф и вы, — говорили они, — были в Петербурге, он сказал бы вам: «Или оставайся в поселениях, или ступай за речку». Известно, что дом графа был на левом берегу Невы, а крепость на правой».
Свиязев был очень рад, что ему удалось вырваться из ведомства Аракчеева, он покинул Новгород и направился в Петербург, в Горный департамент. Начальником одного из отделений департамента работал его хороший знакомый И. А. Кованько. К нему он и пошел.
Представив Кованько выданный военным поселением аттестат, Свиязев получил ответ:
— Да тебя нельзя принять ни на какую службу.
— Как так? Вы шутите!
— Не-е-т, ты служил у Аракчеева в военных поселениях, и в другое ведомство тебя не примут.
— Помилуйте, разве я стал кабальным Аракчеева?
— Вот и угадал. Поди в сенатскую лавку и спроси указ о военных поселениях.
На этом закончился разговор о получении новой работы в горном ведомстве, где начинал свою деятельность молодой архитектор и по ходатайству которого он получил вольную.
Свиязев отправился в «сенатскую лавку» (так называли комнату, где были собраны правительственные указы) познакомился с документом, который гласил: «Служащий военных поселений может выйти в отставку только по болезни, а если выздоровеет и пожелает вступить на службу, то исключительно в военные поселения».