Маннергейм довольно рано женился, ибо был беден (он являлся третьим сыном в семье, отсюда титул барона, графский титул отца вместе с родовым поместьем унаследовал старший брат), но, тем не менее, будучи офицером Кавалергардского полка, имел репутацию завидного жениха. Петербургская родня нашла ему богатую невесту, сироту Анастасию Николаевну Арапову из старинного дворянского рода, с состоянием в 800 000 рублей, двумя имениями и домом в Москве. Внешности она была заурядной, чрезвычайно ленива и знала только одно: немедленное исполнение своих желаний, никакие посторонние, в том числе муж, были ей не указ. Кстати, родня жениха была настолько недовольна этим браком, что отказалась прибыть на свадьбу и помочь Густаву внести долю его расходов на торжество. Маннергейм сумел выпутаться из этого некрасивого положения, взяв несколько призов на офицерских конных турнирах.
В 1873 году родилась первая дочь Анастасия, в 1894 году жена разрешилась от бремени мертворожденным мальчиком, после чего семейная жизнь дала трещину, которая с годами лишь углублялась – Маннергейм очень тяжело перенес гибель наследника своего имени. Мир в семье не спасло рождение второй дочери Софьи в 1896 году. К тому же до Анастасии Николаевны стали доходить слухи о похождениях мужа. Даже на лечение (Маннергейм за свою жизнь из-за увлечения верховой ездой перенес 14 переломов, в том числе у него была раздроблена коленная чашечка) он ездил не в сопровождении супруги. В 1903 году баронесса Маннергейм перевела свои деньги во французский банк, продала имения и уехала на юг Франции, а через некоторое время поселилась в Париже. Маннергейм официально развелся с женой лишь в 1919 году, когда он претендовал на выборную должность президента Финляндии и избиратели заинтересовались его семейной жизнью. Но лишь в 1935 году произошло неожиданное сближение Маннергейма с женой, о чем он сам писал так: «Через многие годы мы нашли друг друга, все поняли и стали настоящими друзьями». Но баронесса уже была тяжело больна, и, несмотря на то, что Карл-Густав делал все, чтобы облегчить ее страдания, в 1936 году она скончалась. Дочь Анастасия еще в молодости ушла в монастырь, Софья также была далека от отца, так что семейные узы совершенно не тяготили блестящего кавалергарда.
Увлечения Маннергейма были настолько многочисленны, что тому, кто заинтересуется более точными сведениями о них, весьма рекомендую прочитать книгу профессора Л.В. Власова «Женщины в судьбе Маннергейма», детально повествующую об этой стороне жизни несомненно выдающегося государственного деятеля. Здесь я только перечислю кое-какие имена: графиня Елизавета Шувалова, актриса Вера Шувалова, балерина Тамара Карсавина, целая серия случайных женщин во время русско-японской войны, полячка княгиня Мария Любомирская, параллельно целая вереница дам в период его службы в Польше