Отец и сын были в постоянной переписке. Старший Строганов писал о делах при дворе, младший рассказывал, чему обучился, в какие музеи и университеты он ходил.
Только об одной неприятности пришлось сообщить Строганову сыну, в ноябре 1753 года пожаром был уничтожен их фамильный особняк. Новое здание было построено в рекордные сроки. Проектировал и строил дворец известный архитектор Растрелли. С милостивого согласия императрицы, наряду со Строгановскими мастеровыми, к строительству были привлечены казенные мастера и материалы со складов строящегося Зимнего дворца.
Граф предоставил архитектору практически полную свободу действий и Растрелли всего за два года построил удивительное здание, в котором было пятьдесят комнат, большой зал, специальная галерея, в которой Строганов разместил собираемые им скульптуры. Въезд во дворец украшали рельефные изображения гербов семьи Строгановых с соболями и копьями, символизирующими Сибирь, откуда этот прославленный род вел свое начало. Окруженный простыми деревянными домиками, дворец выглядел особенно великолепным, и граф Строганов при виде своего нового дворца пришел в полный восторг.
Это был единственный заказчик Растрелли, отблагодаривший мастера не только щедрой платой за работу, но и сделавший ему дорогой подарок: Строганов заказал портрет архитектора известному художнику Ротари, приехавшему в Петербург из Европы, чтобы написать портреты членов императорской семьи. После окончания строительства Строгановский дворец удостоился визита императрицы Елизаветы Петровны, которая, поразившись его блеску и роскоши, пожелала отпраздновать в нем свой день рождения.
Дворец был построен до приезда молодого барона, и Сергей Григорьевич торопил сына с возвращением. Но главным поводом для такого нетерпения было желание его женить. Партия была подобрана самой императрицей Елизаветой Петровной – ее избранницей стала Анна Михайловна Воронцова, дочь вице-канцлера.
По возвращении в Россию блестящие образованный юноша был милостиво принят при дворе, очаровав всех своими изысканными манерами и добрым нравом. Двадцати пяти лет отроду он по завещанию отца женился на светской красавице, но жизнь у молодых не задалась, и в скором времени они разъехались. Причиной были не только разногласия супругов, но и политические дрязги, сотрясавшие Россию. Разводное дело тянулось весьма долго и окончилось в связи с внезапной кончиной Анны.
После, казалось бы, несложившейся семейной жизни Александр полностью уходит в увлечение наукой, устраивает дома естественнонаучный кабинет, где проводит различные химические опыты. Все так же интересовался искусством, благоволил поэтам и музыкантам, меценатствовал. Через пять лет после разрыва с первой женой он решился на повторный брак. Его избранницей стала Екатерина Трубецкая, дочь действительного тайного советника. Александру Сергеевичу казалось, что жизнь налаживается, Екатерина действительно его любит. Она, обладавшая кротким нравом, и что самое важное – хорошим образованием и пытливым умом, составила ему великолепную пару. Он любил ее и за необыкновенные серые с поволокой глаза, и за звенящий голос, и за необыкновенную рассудительность мысли. Десять счастливых лето прожили они в браке, много путешествовали заграницей. Екатерина Петровна родила Александру двух детей – Павла и Софью.