Главный дом получил дворцовое решение — с анфиладой высоких парадных помещений во втором этаже и огромным двусветным залом, обращенным во двор. Эта парадная анфилада стала особенно обширной после того, как в 1816 году разрывы между главным зданием и флигелями были застроены. Тогда же появилась торжественно развернутая парадная лестница с большим выходящим на улицу вестибюлем. Эти помещения и часть комнат первого этажа получили богатейшую отделку с использованием искусственного мрамора, с колоннами, расписанными плафонами и рельефными «фаянсовыми» печами. Весь этот декор удалось восстановить после реставрации 1960-х годов.
Значительные изменения в общий облик талызинского дома были внесены на рубеже ХIХ—ХХ веков, когда занимавшая здание Казенная палата надстроила его боковые части до уровня главного корпуса.
Очень любопытен по своей планировке парадный двор, оказавшийся позади здания. Еще при А. И. Талызине было построено здание конюшен, симметричное древней трапезной Аптекарского приказа, и полукруглая декоративная стена между ними. Это позволило включить в общий ансамбль и косо поставленный самый старый среди остальных строений «Дом садовника», относящийся к началу XVIII века.
Талызинский дворец неслучайно был приобретен государством для размещения в нем Казенной палаты. И снова приходится уточнять расхожее благодаря путеводителям советского времени представление об этом учреждении как о «финансовом управлении города». В действительности впервые созданная Екатериной II в 1775 году Казенная палата сосредоточивала в себе все казенное управление. Она заведовала государственными имуществами и строительной частью страны. Впоследствии функции палаты сводятся к счетоводству и отчетности по приходу и расходу сумм в губернских и уездных казначействах, непосредственно ей подчиненных. Она наблюдает за поступлением государственных доходов, добивается их уплаты, но сама не вводит и не взимает никаких сборов. Казенная палата распоряжается производством всех расходов по губернии и не допускает не предписанных Министерством финансов расходов, какое бы ведомство ни пыталось их произвести.
Дом Талызина на Воздвиженке. 1787; 1816 г. Анфилада.
В результате своеобразной преемственности уже в советские годы в талызинском дворце работают сначала Секретариат ЦК РКП(б), который часто посещает Ленин, затем последовательно Наркомат юстиции, Госплан, а с 1945 года Музей архитектуры, получивший с 1963 года имя своего первого директора архитектора А. В. Щусева.
Дом № 5, который ряд советских справочников называет уютной квартирой председательствующего Казенной палаты, в действительности всегда принадлежал Крестовоздвиженскому монастырю и служил жильем для клира Крестовоздвиженского собора.