Н. Каратаева вспоминает: "Если у нас бывали ссоры, Анатолий Дмитриевич иногда заявлял: "Я пойду к маме жить". Он приходил к своей маме, а она всегда говорила: "Ты женился, Толя, и, пожалуйста, разбирайся со своей женой у себя дома, а ко мне с этим не ходи. Я не могу вставать на твою сторону и осуждать твою жену". Я ей очень благодарна за это...
Еще одним предметом для конфликтов в семье нашего героя было его чрезмерное увлечение алкоголем. Об этом вспоминает еще одна актриса Театра сатиры - Вера Васильева: "Появился у нас в театре буйный на выдумки, смелый и творчески необычайно деятельный актер Женя Весник. Он тоже был молод, но быстро занял в нашем театре значительное положение. И все вокруг него кипело. С Толей они крепко подружились, но по темпераменту Женя его перехлестывал. Словом, к нашему с Надей Каратаевой ужасу, появилась в жизни Толи опасная приятельница - водочка. Тогда к такого рода злу относились проще и, кажется, само зло было менее трагичным, чем сейчас. Так или иначе, но у молодой жены Папанова появились основания для грусти".
Стоит отметить, что наш герой и Е. Весник были людьми одного поколения (Весник родился на 2,5 месяца позже Папанова - 15 января 1923 года). Оба они были фронтовиками, и оба были ранены. У них были общие взгляды на многие вещи, оба были беспартийными и никогда не участвовали в каких-либо группировках внутри родного театра. Короче, их дружба была предопределена множеством различных причин.
Увлечение нашего героя алкоголем было вызвано прежде всего тем, что в театре он был мало востребован как актер. В то время как его жена уже считалась ведущей актрисой в репертуаре Театра сатиры, Папанов выходил на сцену в ролях, которые принято называть "Кушать подано". Все это угнетало нашего героя. Перелом в его судьбе наступил в середине 50-х. Причин было две.
Во-первых, в 1954 году родилась дочка Лена, во-вторых, в 1955 году Папанов сыграл свою первую значительную роль - в спектакле "Поцелуй феи". После этого столичные театралы впервые заговорили о Папанове как о талантливом актере, о том, что у него прекрасные перспективы на будущее. Именно в то время наш герой прекратил свои пьяные застолья. Как вспоминает Н. Каратаева: "Единственный серьезный конфликт у меня с ним был из-за того, что он стал выпивать. Но у Анатолия Дмитриевича за такой внешней мягкостью скрывалась очень большая сила воли. И он как-то мне сказал: "Все, я больше не пью". И как отрезал. Банкеты, фуршеты - он ставит себе боржоми, в театре все знали, что Папанов не пьет".