В сентябре 195 °Сивков был арестован по «делу об обнаруженных в Эрмитаже хозяйственных злоупотреблениях». Он был исключен из партии, и, хотя его освободили в 1951 году под подписку о невыезде, в 1952 последовал вторичный арест, суд, а затем и приговор на 12 лет. Сивков, он был уже пенсионного возраста, отбывал заключение на Куйбышевстрое. Но, по-видимому, вина его была не столь значительна, сколь несчастливыми для всего, что касалось культуры Ленинграда, были годы 1950–1952. На Куйбышевстрое Сивков получает одну за другой благодарности и денежные премии, и уже в 1954 он досрочно освобожден, а в 1955 снова на должности главного архитектора Эрмитажа. В этой должности он и пребывает до конца своей трудовой жизни, в последний период, вероятно, по причинам чередующихся месяцев нездоровья и относительной бодрости, то уходя на покой, то опять возвращаясь к работе в Эрмитаже. Преобразования зданий Эрмитажа в тот великолепный музейный ансамбль, что мы сейчас видим, было, несомненно, содержанием жизни архитектора. Из ветеранов Эрмитажа, тех, кто знал А. В. Сивкова, мне удалось поговорить только с хранителем Николаем Николаевичем Никулиным.
– Он много полезного сделал, очень много, И был большим патриотом Эрмитажа, – сказал Николай Николаевич. – «Сивковский переход» между Зимним и Эрмитажем знаете? Помню, в одной двери красного дерева в этом переходе торчал после войны большой осколок артиллерийского снаряда… Я уговаривал Сивкова не вынимать этот осколок. Память же… Но не уговорил. А вот другой пример… В западной части крыши Зимнего дворца, ну, на той стороне, что глядитна Адмиралтейство, есть башенка светового «телеграфа Шиллинга». Этим телеграфом Зимний дворец связывался с Кронштадтом, а по цепочке сигнальных вышек и с Варшавой… И я как-то у Сивкова спросил – почему, раз Зимний дворец избавляется от позднейших напластований, не убрать эту башенку? Инородная, поздняя, это ведь уже середина XIX-го. Надо, мол, и ее убрать… Нет, говорит, вот ее-то как раз надо оставить. И, слава Богу, меня не послушал…
Забегая вперед, замечу, что уже после войны, когда выяснилось, что отсутствие отопления во время блокады нанесло зданию огромный ущерб, – тут Иосиф Абгарович с главным архитектором и главным инженером порой буквально сутками пропадал в залах и галереях, так что туда даже носили ему на подпись бумаги. Слов нет, приспособить огромное здание к благородному назначению служить экспозиционным полем великому искусству – цель, достойная всяческого уважения, но к достижению этой цели имелись препятствия…