Три года он был счастлив. Но, очевидно, тогдашний переход через улицу — из одного посольства в другое — дался Жюльетте не так уж легко. Она быстро таяла от чахотки. Благодаря князя за все, что он ей дал, она угасла на его же руках, и, зарыдав над нею, быстро хладеющей, он в ужасе услышал, как рвется с улицы музыка веселого карнавала… Это было так страшно, так непонятно и так естественно! Жизнь продолжалась.
По возвращении на родину, еще страдающий, князь решил покончить со служением в дипломатии и поступил в штат министерства внутренних дел. Граф Петр Валуев, управлявший министерством, был настроен очень благожелательно:
— Вы, наверное, хотите губернию? Какую?
— Мне сейчас хочется быть подалее от света…
Летом 1866 года князь начал управлять Орловской губернией, но и сам называл себя губернатором «случайным», и уже весною 1867 года сдал дела писателю-историку Михаилу Лонгинову:
— Я ничего в Орле не построил, никого не обидел и никого не высек, ибо переход из политики внешней в политику внутреннюю меня не обрадовал, а, скорее, испугал…
Еще больше «испугал» его император Александр II:
— Князь, что у вас там случилось в Константинополе?
— Обычная история — с женщиной.
— Обычная? Согласен. Но… скандальная?
— Скандал не ухудшил русско-французских отношений, ибо я не уводил женщину из гарема, она сама покинула мужа.
Этот разговор возник в Зимнем дворце, где князь представлялся императору, и острота их беседы понятна, если учесть, что Александр II был самым отчаянным бабником.
— Вы забыли ее за эти минувшие годы? — спросил он.
Лобанов-Ростовский, напротив, женолюбцем не был:
— Нет, ваше величество. Не забыл. И не забуду.
— Так считайте, князь, — решил император, — что я забыл эту историю с чужой женой, желая видеть вас подле себя…
После этого он стал товарищем министра внутренних дел!
Семь лет ведал делами о раскольниках, участвовал в разработке главных реформ (достойных более светлой памяти и в наши дни), по настоянию князя Лобанова-Ростовского все гражданские посты в провинциях достались чиновникам, а не генералам, князь преобразовывал порядок в следственных органах и прочее. Покинув мир дипломатии, Алексей Борисович был по-прежнему окружен иностранными послами, средь которых выделял баварского Труксесс-Ветцгаузена, бразильского Рибейро де-Сильва, английского Уильяма Румбольда — все эти амбасадоры были мужьями его кузин, ибо Лобановы-Ростовские имели обширное космополитическое родство. Румбольд в своих мемуарах писал: «Лобанов был одним из самых чарующих представителей русской аристократии, ибо давно известно, что если члены избранного русского общества задаются намерением прельстить кого-либо, то они воистину неотразимы… Эрудиция же князя в области русской истории была поразительна!»