В первый раз Парфенов женился в середине 30-х, когда учился в студии при Театре Моссовета. Его женой стала актриса театра Ольга Васильева. От этого брака у него родилась дочь Ирина. Однако молодая семья просуществовала недолго и вскоре распалась. После развода Парфенов долго сторонился женщин, пока в конце 40-х не встретил свою вторую, и последнюю, жену – Ларису Алексеевну. Она не имела никакого отношения к искусству – работала в Моссовете, тоже была в разводе, одна воспитывала маленькую дочь. Их пути никогда бы не пересеклись, если бы не общие друзья, которые вознамерились познакомить их и поженить. Но Парфенов боялся нового брака. Поэтому, когда пришла пора знакомиться с Ларисой, решил схитрить: взял с собой на эту встречу товарища, тоже артиста. Тот был и выше, и гораздо интереснее его, и, как думал Парфенов, все внимание девушки должен был взять на себя. Но случилось неожиданное: Ларисе понравился именно Парфенов. Как она сама потом признается, именно своей скромностью. С тех пор они начали встречаться, наперебой читали друг другу стихи любимого Есенина. А в 1949 году поженились.
Лариса была женщина статная, красивая, и вокруг нее увивались толпы мужчин. Поэтому, чтобы избежать неприятностей, Парфенов на первых порах никогда с ней надолго не расставался, даже брал ее с собой на гастроли. Но быть постоянно рядом с женой удавалось не всегда. Однажды Лариса Алексеевна с сыном уехали в дом отдыха. Через некоторое время туда же приехал Парфенов и застал жену прогуливающейся по аллее с сыном, маленькой девочкой и незнакомым мужчиной. В Парфенове взыграла кровь, и он, не разбираясь что к чему, хлопнул дверью и уехал в Москву. Однако, пока добирался до дома, остыл, заново «прокрутил» в голове всю сцену и подумал: что же я натворил? На следующий день он примчался в дом отдыха просить у жены прощения – с цветами, сумкой фруктов и даже «покаянными» стихами. Как оказалось, незнакомый мужчина был отцом маленькой девочки, с которой сын Ларисы Алексеевны подружился в доме отдыха.
В середине 50-х ситуация в Театре Моссовета была непростой: массовый зритель перестал посещать его спектакли, предпочитая ему другие столичные коллективы. И это в то время, когда в «Моссовете» работала целая плеяда признанных звезд советского театра: Фаина Раневская, Ростислав Плятт, Вера Марецкая, Николай Мордвинов. Однако репертуар театра оставлял желать лучшего, поэтому зритель от него и отвернулся. Был даже момент, когда основатель театра Юрий Завадский написал сгоряча заявление об уходе из театра, но его уговорили остаться.