Несмотря на это зловещее начало, их отношения продолжались три года, и современники придерживались мнения, что очаровательная и преданная Мария была единственной женщиной, которую император действительно любил.
Во время его пребывания в Польше они жили вместе в Шлосс-Финкенштейне, и Наполеон звал её своей «польской женой». Единственной проблемой было то, что, хотя она и имела ребёнка от своего семидесятилетнего мужа, Наполеон, по-видимому, не был способен сделать её беременной. Но после того как Наполеон возвратился во Францию, Мария Валевская прислала известие, что она родила сына. Муж Марии дал ребёнку своё имя, и как граф Александр Валевский он возвысился при Наполеоне III.
Однако жертва графини Валевской, по-видимому, была напрасной. Позже Наполеон заключил договор с царём, по которому слова «Польша» и «польское» должны быть исключены не только из обращения, но и вообще из истории.
Поверив, наконец, что он не бесплоден, Наполеон решил развестись с Жозефиной и жениться на той, кто мог бы дать ему законного наследника. Устав от войн, он решил, что династический союз был бы лучшей стратегией. Наполеон мечтал жениться на русской Великой княгине. Но вдовствующая императрица была против этого, заявляя, что Наполеон не «полноценный мужчина». Если Великая княгиня выйдет за него замуж, то для того, чтобы иметь детей, ей придётся завести любовника.
Принц Фредерик Луис из Мекленбурга-Шверина был послан в Париж на разведку. Жозефина, напуганная очередной возможностью развода, рассказала ему об импотенции Наполеона. Жозефина заявляла публично, что сперма Наполеона «была бесполезна, она была совсем как вода». «Он может выглядеть, как и все остальные мужчины, — говорила она, — но на самом деле он был как кастрированный тенор».
Поскольку Жозефина не смогла произвести на свет сына и наследника, Наполеон в 1809 году аннулировал брак с ней. Это не было продиктовано политической необходимостью. Наполеон выбрал Марию Луизу Австрийскую — племянницу Марии Антуанетты — в качестве своей второй жены. Он считал, что восемнадцатилетняя девственница станет для него «чем-то вроде бомбы, на которой он хочет жениться».
Своему брату Люсьену он сказал: «Разумеется, я предпочёл бы короновать свою любовницу (имелась в виду Мария Валевская), но я должен быть в союзе с монархами».
Союз с Австрией стал политической ошибкой. Он вскоре привёл к войне с Россией.
Хотя Жозефина проиграла битву при разводе, она продолжала бороться. Она поддержала его брак с Марией Луизой в надежде, что молодая принцесса будет нуждаться в её совете. Втроём они могли бы составить тройственный союз, думала она. Как старшая императрица, она, естественно, возглавляла бы его. Однако двумя неделями после его брака в марте 1810 Наполеон выслал Жозефину из Парижа.