Для того чтобы вернуть старинному особняку д’Эврё былые вид и достоинство, нужна была мощная авторитетная личность с отменным вкусом. И этой личностью стал Наполеон I. Так, 6 августа 1805 года особняк перешел во владение Иоахима Мюрата, маршала Франции и зятя императора (мужа его сестры Каролины). На этот раз дворец назвали… «Элизе-Наполеон». За его реставрацию взялись лучшие декораторы того времени – Персье и Фонтэн. Вскоре дворец вновь обрел свое прежнее великолепие. Жена Мюрата частенько принимала здесь своих любовников, когда мужа не было дома. И делала это, нисколько не таясь.
Как-то раз, например, став любовницей генерала Жюно, губернатора Парижа, она отправилась вместе с ним в театр. После спектакля они, сгорая от нетерпения, поехали прямиком в Елисейский дворец, и Каролина даже не распорядилась убрать губернаторскую карету из-под окон спальни… Там она простояла всю ночь у всех на виду, так что на следующий день ни у кого не осталось никаких сомнений по поводу того, где остался Жюно на ночь и чем он занимался! По странному стечению обстоятельств жена Жюно Лаура оказалась запертой в карете. Однако она нашла способ отомстить своему супругу, уединившись с австрийским послом Меттернихом, который, к слову, был бывшим любовником Каролины.
Когда в 1808 году эксцентричная чета Мюратов взошла на престол Неаполя, дворец перешел непосредственно к Наполеону, который передал его своей жене Жозефине после того как развелся с ней. Однако бывшая императрица во дворце практически не жила и была его хозяйкой всего какую-то пару лет.
В 1815 году, после битвы при Ватерлоо, в Елисейском дворце ненадолго обосновался царь Александр I, а его армия разбила лагерь прямо на участке.
Временно в Елисейском дворце жили и молодые супруги герцог де Берри и Мария-Каролина Неаполитанская. На территории дворца герцогиня устроила свой маленький двор, такой же радостный и веселый, как и она сама. Но счастье это длилось недолго: ее супруг трагически погиб от ножа Лувеля, и юная безутешная вдова не смогла больше находиться во дворце.
Следующим владельцем стал принц Луи-Наполеон, тогда еще первый президент Второй республики. Однако, став императором, он тоже оставил Елисейский дворец и обосновался в Тюильри.
С уходом Наполеона III Республика вновь вступила в свои права, теперь уже навсегда. Окруженные золотым убранством дворца, со временем слегка запылившимся, один за другим сменялись президенты. Некоторые там же и умерли: Сади Карно, заколотый Казерио, суровый и неподкупный Поль Думер, застреленный Горгуловым. Среди них также был и знаменитый Президент-Солнце Феликс Фор, угасший на руках своей любовницы, прекрасной мадам Стенель.