После опасного демарша Антонова-Овсеенко последовал быстрый ответ: в январе — марте 1924-го со своих постов были смещены он сам и заместитель председателя РВС СССР Эфраим Склянский. Их заменили сторонники «тройки» Андрей Бубнов и Михаил Фрунзе. Другие видные соратники Троцкого вскоре были отправлены полпредами СССР за границу.
В январе 1924 года XIII партконференция осудила троцкизм как «мелкобуржуазный уклон». Сам Троцкий в конференции не участвовал. Еще осенью, во время охоты, он провалился в болото и сильно простудился. С тех пор плохо себя чувствовал, никак не мог справиться с осложнениями после простуды, и 8 января 1924 года «Правда» поместила сообщение о том, что ему предоставлен отпуск по болезни «не менее чем на два месяца». 18 января 1924 года он отбыл на лечение в Сухум. «Хронически воспаленный Лев Давидович», — ехидно называли Троцкого его недруги. В это время он был действительно болен, но его «проваливание в болото» в решающий момент борьбы со Сталиным выглядело как-то уж слишком символически.
В своем заключительном слове на конференции Каменев решил проинформировать делегатов и о состоянии Ленина. По его поручению по телефону связались с Крупской. Она передала ему записку, в которой советовала сказать «пару слов о здоровье В[ладимира] И[льича], не выделяя этого вопроса». Крупская сообщала, что выздоровление идет удовлетворительно, что Ленин ходит с палочкой, но сам вставать пока не может, что он произносит отдельные слова, понимая их значение и что он начал читать материалы по партдискуссии. Каменев, впрочем, гораздо лучше знал, что происходит с Лениным. Он видел его сам. В декабре 1923 года он повез в подмосковную усадьбу Горки, где тогда жил Ильич, художника Юрия Анненкова — он еще в 1921 году написал ленинский портрет, который потом поместили даже на советских почтовых марках.
«Каменев, — рассказывал Анненков в своих мемуарах, — хотел, чтобы я сделал последний набросок с Ленина. Нас встретила Крупская. Она сказала, что о портрете и думать нельзя. Действительно, полулежавший в шезлонге, укутанный одеялом и смотревший мимо нас с беспомощной, искривленной младенческой улыбкой человека, впавшего в детство, Ленин мог служить только моделью для иллюстрации его страшной болезни, но не для портрета Ленина.
Я не хочу вспоминать об этой поездке в Горки, но и не могу забыть о ней».
Ленин умер 21 января 1924 года в 18 часов 50 минут в Горках. Утром 22 января председатель ВЦИК Калинин сообщил об этом делегатам XI Всероссийского съезда Советов. Один из делегатов рассказывал: «Затягивается открытие заседания. Президиум съезда отсутствует в полном составе. Появляется какая-то тревога. Наконец, из-за кулис показывается М. И. Калинин, за ним Зиновьев, Рудзутак, Томский и другие члены президиума. Члены президиума крестьяне и крестьянки утирают сермяжными рукавами лица. Становится ясно, что случилось что-то необычайное и тревожное».