В 1961 году Владимиру Александровичу, уже как сотруднику аппарата ЦК КПСС, довелось присутствовать на беседе двух представителей руководства Венгерской социалистической рабочей партии — Иштвана Ногради, председателя Центральной контрольной комиссии, и Дьердя Ацеля, члена ЦК ВСРП, — с Матьяшем Ракоши. Беседа, которая состоялась в Краснодаре, длилась более восьми часов. Цель посланцев из Венгрии состояла в том, чтобы высказать Ракоши претензии в связи с фактами его «антипартийной деятельности, подстрекательскими письмами и нежелательными встречами с некоторыми венгерскими гражданами». Ракоши решительно отверг все предъявленные ему обвинения, а на выпады в его адрес высказал следующее: «Вы не забывайте, что перед вами единственный оставшийся в живых руководитель Коминтерна, работавший с Лениным под его личным руководством. Шестнадцать лет я провёл в хортистских застенках в Венгрии, вёл себя достойно, не сдался, выдержал все испытания. Во время войны ещё раз доказал, что являюсь другом Советского Союза. Под моим руководством в Венгрии победила социалистическая революция, а вот без меня в 1956 году произошла контрреволюция».
Ракоши всю жизнь винил себя в том, что поддался давлению Москвы и дал согласие оставить высший партийный пост и покинуть Венгрию в июне 1956 года. Он был уверен, что если бы продолжал руководить ВПТ, то не дал бы событиям принять драматический характер и завершиться для его страны такой трагической развязкой. Но, как мы знаем, у истории нет сослагательного наклонения, и бессмысленно гадать, чем бы всё закончилось в Венгрии, если бы Ракоши остался в стране.
Заметим, что Андропов ценил и уважал Ракоши и был против того, чтобы его в тот момент, когда обстановка в Венгрии накалилась, отозвали в Советский Союз. А вот к Имре Надю Юрий Владимирович относился с большим недоверием. Возможно, поэтому в Москве летом 1956 года возникла идея сменить несговорчивого Андропова на нового посла. Подобрали даже кандидатуру — секретаря ЦК Компартии Белоруссии П. А. Абрасимова. Но в последний момент у Хрущёва появились какие-то сомнения, и все остались на своих прежних постах.
Андропов уважал Ракоши не за его жёсткость, как принято считать в либеральной печати, а за его знания, опыт, деловые и организаторские качества. Даже для американских и западных спецслужб было вполне очевидно, что в его лице Венгрия имела сильного руководителя, способного обеспечить нормальное политическое и экономическое развитие страны. Этого-то они как раз и не могли допустить, так как понимали, что Ракоши никогда не отступит с твёрдой просоветской позиции.