Военная карьера старшего сына Строганова складывалась удачно, впрочем, как и личная жизнь. Он участвовал в венгерском походе, потом в Крымской войне, но придворной и политической жизни не желал. Он женился на дочери обер-егермейстера двора – княжне Васильчиковой – и покинул двор, жил в основном в имении жены Волышово в Пермской губернии, которое перестроил на европейский манер, конечно же, со Строгановским размахом. Позже подобный проект строительства назовут уникальным для России. Здесь вместе с графским домом были сооружены конный завод, псарня, оранжереи, ферма, хозпостройки и склады.
Архитектором Макаровым была спроектирована уникальная инженерная система: водопровод, башенные резервуары, пневматические печи с жировыми и вентиляционными каналами. Таким новшеством мог похвастаться только Зимний дворец. Парадную беломраморную лестницу привезли из Италии, а паркет из ценных пород дерева в парадном зале укладывали восемь долгих лет. Графиня Строганова попросила уделить особое внимание детскому досугу, и в усадьбе появились специализированные детские площадки «Фермочка», «Детский садик» и «Качели». В самом начале парка у Графского дома был вырыт и круглый пруд, в нем была купальня, дно которой было вымощено камнем.
В счастливом браке у них родилось четверо сыновей и трое дочерей. Старший из них, сын Сергей, и стал впоследствии наследником дедовского майората. В 28 лет Александр становится начальником Археологического общества истории и древностей российских в Петербурге. Не испытывая особой любви к живописи, он на радость отцу увлекся нумизматикой, его коллекция насчитывала более пятидесяти трех тысяч различных монет. Умер Александр молодым, и наследником дедовского майората (нераздельного имения) стал его сын Сережа. Мальчику было всего двенадцать лет, когда не стало отца, но дед, великий Строганов, взял на себя воспитание наследника. Внуки часто гостили у него, а если были вдалеке, то переписывались, причем, весьма часто. Сергей, обладая живим умом, писал деду и о событиях в материнском имении, и размышлял о важных политических событиях. Дед такое увлечение несказанно поощрял и писал Сергею развернутые письма.
Павел, второй сын Строганова пошел по юридической линии, окончил Московский университет, поступил на службу в Министерство иностранных дел и был послан в Рим. И тут уж Строгановская душа могла развернуться в полной мере! Павел собирает полотна редких итальянских живописцев, ездит во Францию и Голландию, где так же покупает картины. Все это позже он отвезет в дом, полученный в наследство от деда. После перестройки дворец около Летнего сада ничем не уступал первому Строгановскому дворцу на Невском, где граф Александр Строганов устроил своеобразный музей. Более ста картин мастеров итальянской, испанской, фламандской школ составили великолепную экспозицию западноевропейского искусства. Но и это не все, Павел не мог устоять перед восхитительными скульптурами, изделиями из фарфора, старинной мебелью. Все это бережно собиралось и позже выставлялось для всеобщего обозрения.