У Асеевой было три сестры — Мария, Надежда и Вера. С их стороны всегда исходили запреты на вхождение Анатолия в дом к Оксане Михайловне. Они считали, что ей пора со Зверевым расстаться, что он сведет её в могилу, и Анатолий постоянно вёл с ними борьбу, называя их «чердачными старухами». В общем, много было всяких смешных и курьёзных ситуаций.
Меня однажды поразил его телефонный разговор с Асеевой. Он невероятно её ругал, ругал последними отборными словами, и я не мог просто этого выдержать. «Послушай, — сказал я ему, — или немедленно прекрати всё это, или просто выматывайся отсюда. Я не могу всё это слушать». Но он продолжал крыть её в трубку, а она, к великому моему удивлению, всё это выслушивала и даже в тон ему что-то ответила. И тут я подумал: «Это у меня чего-то не хватает, а не у них». Я понял, что сам не созрел ещё до таких не просто хороших, а больших, мощных отношений. Отношения их, если так можно выразиться, я назвал бы именно мощными. Они были очень сложными. Это были равные отношения. Она его безумно любила. Я думаю, что он был человеком, который мог ей что-то заменить, что-то напомнить, что-то создать в её где-то уже неприкаянной старости. Ведь ей самой доставалось уже очень мало. Её жизнь сводилась в основном к вечным копаниям в архивных материалах. О творчестве Асеева была написана уже куча диссертаций, и Оксана Михайловна только засвидетельствовала разные ситуации и факты, которые были с ним связаны, а Зверев был всегда и во всём непредсказуем. Она обожала его работы, и он просто задаривал её ими. Она рассказывала, как он, лёжа в Тарусе с переломанной ногой и рукой, её рисовал, самозабвенно рисовал. А я очень жалел, что он не рисовал её, скажем, в 55-м, или 57-м, или в 59-м годах, когда это были портреты совершенно другого творческого момента. Он, конечно, старался, чтобы работы эти ей нравились и делал её моложе. Да он и представлял её такой.
Конечно, эта любовь, эта встреча Оксаны Михайловны с Толей имела какой-то особенный смысл. Ведь он чувствовал себя, общаясь с ней, как за каменной стеной, за которой ему можно было как-то спрятаться, укрыться. У меня с ним был как-то об этом разговор и, кстати, очень серьёзный. Ведь он страшно боялся этой действительности и всё время был как бы начеку. Он боялся, что его могут посадить принудительно в дурдом, постоянно был в ужасе от вытрезвителя. В конце концов, он научился как-то лавировать, старался ездить всегда на такси, меньше находиться в общественных местах, где его могли взять. Был ли он в дурдоме? Я его об этом не спрашивал, но один раз он вроде бы там был и, кстати, навещали его там Оксана Михайловна и Костаки. Но это были доброжелатели, которые понимали, что ему надо, в конце концов, подлечиться. Вот подлечится — и станет совершенно гениальным человеком. Не пить ему было, конечно, очень трудно, разве что при каких-то невероятных обстоятельствах. Но однажды он мне сказал, держа руку около сердца: «Старичок, мне надо бы прекратить выпивать». — «А что случилось?» — спросил я. «Да вот сердце что-то болит. Но знаешь, я стал размышлять — вот брошу пить, стану очень здоровым. Но здоровыми, старик, могут быть только футболисты». Говорил он всё это не в шутку, а совершенно серьёзно — здоровыми могут быть только футболисты. Это был 1984 год.