Константин по натуре был человеком сугубо военным. Соратник самого Суворова – в юности проделал с ним и Итальянский, и беспримерный Швейцарский поход. Вращался в офицерской среде и был в ней популярен – маневры, походы, товарищеские пирушки. Его грубые шутки и выходки возмущали и коробили жену, выросшую в совершенно других условиях. А ее красота привлекала других мужчин. Поэтому со стороны мужа добавились буйные сцены ревности (хотя сам он верности жене отнюдь не проявлял). Под предлогом лечения в Германии Анна уехала домой. Кое-как, усилиями Павла I, ее уговорили вернуться. Но в 1801 году нашелся другой повод, заболела ее мать, и Анна уехала насовсем, начала переговоры о разводе.
Муж не возражал. У него начался очередной внебрачный роман, да и военная служба увлекала, открывала перед ним широкие перспективы. Константин Павлович возглавил комиссию по реорганизации армии: менялась форма, совершенствовалось вооружение. Он стал и председателем совета по военно-учебным заведениям, создавал училища и кадетские корпуса. Отличился в битве под Аустерлицем, с гвардейскими частями прикрывал отход наших разбитых войск. Сражался с французами в Пруссии под Гейльсбергом. Но и мир в Тильзите поддержал, считая войну с Наполеоном слишком тяжелой и непосильной для нашей армии. Однако с разводом дело затянулось. Скандала не желал Александр I, не желала мать Мария Федоровна. А она была женщиной властной, сохраняла сильное влияние на сыновей, даже на царя.
Александр по характеру не походил на брата, умел скрывать и маскировать свои чувства. Поэтому в его семье драмы не проявлялись столь бурно. Но супруги быстро охладели друг к другу. Муж искал удовольствий на стороне, с Марией Нарышкиной. И жена стала заниматься тем же. В 1799 году она родила дочку Марию, и при дворе поползли слухи, что отец ребенка – Адам Чарторыйский, один из ближайших друзей Александра. Павел I немедленно отправил его послом в Турин. Но Александр, взойдя на трон, возвратил друга в Петербург. То есть к случившемуся он отнесся куда более спокойно, чем отец. А здоровье его жены было очень слабым, и дочка родилась болезненная. Прожив 13 месяцев, она умерла.
В роли императрицы Елизавета нашла нового возлюбленного, кавалергарда Алексея Охотникова. Хотя выяснилось, что он страдал чахоткой. Охотников вышел по болезни в отставку и вскоре скончался. Царица в это время уже была непраздной, и в 1806 году родила дочь Елизавету. Император знал, кто отец, но признал ребенка своим. Но и эта дочка прожила лишь 18 месяцев. В результате оба старших брата в царской семье остались бездетными. И в этом Александр тоже видел наказание от Бога.