В мае 1801 года все многочисленное семейство переселилось в Испанию, в Мадрид, куда отец был назначен посланником. Там к мальчикам был приставлен дядька-испанец. Как-то без ведома родителей он вместо прогулки повел их на бой быков, так как, подобно всем испанцам, был страстным любителем этого зрелища. Мальчики были в восторге от музыки и ярких, блестящих одежд пикадоров и матадоров[3]. Но, как только бык ранил первую лошадь и она заметалась по арене, волоча за собой выпавшие кишки, оба заплакали, и их пришлось увести. Отец после этого прогнал дядьку-испанца.
Матвею исполнилось десять лет, Сереже — семь. Пора было подумать об учении, и Анна Семеновна повезла сыновей в Париж, оставив остальных детей — четырех девочек — на попечение отца и гувернанток. Францией правил тогда генерал Бонапарте, носивший титул пожизненного консула. Анна Семеновна поместила Матвея и Сережу в одну из лучших школ Парижа — пансион Гикса, старого якобинца, бывшего аббата, а теперь горячего приверженца генерала Бонапарте, упрочившего, как он говорил, республиканские начала равенства. В пансионе monsieur (мосье) Гикса проходился курс des humanites, то есть гуманитарных наук; на первом месте стояло преподавание политических предметов, истории и латинского языка. Пансион помещался на окраине города, на тихой улице с садами, шедшими сплошным рядом по обе стороны, в старинном здании с гулкими сводами, где когда-то был монастырь. Матвей и Сережа занимали вдвоем маленькую келью, выходившую окнами в старый, запущенный сад. Устроив сыновей, Анна Семеновна вернулась в Мадрид.
В 1804 году Франция превратилась в империю, генерал Бонапарте стал императором Наполеоном I. В декабре он короновался в старинном соборе Парижской богоматери. Короновал его сам римский папа, нарочно приехавший для этой цели в Париж. Матвей и Сережа видели проезд императора по улицам, наполненным восторженной толпой, и принимали участие в празднествах, устраивавшихся в этот торжественный день.
Начало наполеоновского царствования ознаменовалось блестящими военными успехами. Наполеон выгнал австрийцев из северной Италии и венчался в Милане железной короной древних ломбардских королей. Австрия, заручившись союзом с Александром I, потребовала очищения Италии и южной Германии от французских войск. Тогда Наполеон вторгся в австрийские пределы и быстрым движением занял Вену. Русские войска, при которых находился сам Александр I, оказались в затруднительном положении. Главнокомандующим был Кутузов. Он не хотел сражения, так как французская армия была втрое многочисленнее, а на австрийцев надежда была плоха: они сдавались при первом натиске. Но Александр I горел желанием помериться силами с Наполеоном. На полях Аустерлица, в Моравии, произошло сражение трех императоров: русского, австрийского и французского. Победа осталась за Наполеоном. Это было 2 декабря 1805 года, в день первой годовщины его коронования. Париж ликовал, а Матвей и Сережа были в отчаянии от стыда и горя.