По иронии судьбы «2-я Рисовальная школа, учрежденная гр. С.Г. Строгоновым» (таковым было официальное название после передачи заведения государству в 1843 г.), разместилась в так называемом Банковском доме на Мясницкой улице, некогда принадлежавшем барону С.Г. Строгонову. В 1760 году его владельцем стал граф П.И. Шувалов, сын которого, Андрей, был назначен директором учрежденного в России банка, и в дом переехала контора банка. Тогда же переулок, называвшийся прежде Шуваловским, переименовали в Банковский.
В 1830-1840-е годы в здании располагался Технологический институт, а затем Министерство финансов разместило нем Рисовальную школу, созданную графом Строгоновым, и Воскресные классы рисования. На другой стороне улицы, превратившейся в центр художественной жизни Москвы, в знаменитом доме И.И. Юшкова (Мясницкая, 21) на углу Боброва переулка — одном из лучших архитектурных памятников Москвы эпохи классицизма (авторство его проекта приписывают архитектору В.И. Баженову) в 1838 году поместились Рисовальные классы Московского художественного общества.
Классы возникли в 1832 году как «кружок любителей натуральной живописи». В июне следующего года они были преобразованы в «публичные классы рисования, живописи и ваяния». Преподавателями пригласили художника И.Т. Дурнова и скульптора И.П. Витали. В 1844 году дом Юшкова за 35 тысяч рублей серебром купили попечители бывших классов, которые уже год как именовались «Училище живописи и ваяния».
В 1860 году в целях экономии бывшие первую и вторую Рисовальные школы соединили и создали Строгоновское училище технического рисования. Главной заслугой назначенного директором В.И. Бутовского была организация на основе имевшегося собрания артефактов художественно-промышленного музея. В 1862 году в среде московских мануфактуристов возникла мысль об учреждении в Москве художественно-промышленного музея, его решили открыть в доме Министерства финансов на Мясницкой улице, по соседству с училищем.
В 1864 году началась подписка на пожертвования для музея. Большие денежные пожертвования поступили от К.Т. Солдатенкова. Поступали и ценные художественные произведения разных эпох от П.П. Вяземского, Д.П. Боткина и других. Музей торжественно открыли 17 апреля 1868 года. Для пополнения коллекции западноевропейскими экспонатами Бутовский обратился к Д.В. Григоровичу, который к тому времени занимая пост секретаря Общества поощрения художников, превратился в известного художественного деятеля, решившего преобразовать «Рисовальную школу на Бирже» и создать подобный музей и в столице. Приобретенные Дмитрием Васильевичем вещи за недостатком места остались лежать в ящиках.