В начале лета 1926 года Троцкий объединился в единый блок с Зиновьевым и Каменевым, которые были недовольны укреплением позиций Сталина в партии и государстве. Сторонники Троцкого создали в Москве конспиративный центр «объединенной оппозиции», который возглавили сам Троцкий и Зиновьев. Работа центра велась достаточно активно, лидеры проводили подпольные заседания, имели своих людей в ЦК ВКП(б), ряде наркоматов, а также среди представителей высшего военного руководства. Центр создал даже специальную группу в армии. В нее входили комкоры Примаков и Путна, расстрелянные в 1937 году как участники так называемого «заговора генералов». Имел своих сторонников Троцкий и в ОГПУ. Еще в 1923 году, когда он навязал партии дискуссию о роли профсоюзов, примерно 40 процентов чекистов голосовали за его платформу.
Подобные конспиративные центры были также организованы в Ленинграде, Киеве, Харькове, Свердловске и других городах. Деятельность «объединенной оппозиции» вызывала серьезную озабоченность у сторонников Сталина, так как троцкисты все больше скатывались на антисоветские позиции.
Окончательную победу над Троцким Сталин одержал в 1927 году. В октябре Троцкого вывели из состава ЦК ВКП(б), а 14 ноября за организацию демонстрации оппозиции в Ленинграде в десятую годовщину Октябрьской революции исключили из партии. На XV съезде ВКП(б), который состоялся в декабре 1927 года, троцкизм был поставлен вне закона.
Троцкий отказался признать свое поражение и в январе 1928 года был сослан в Алма-Ату. Однако и в Казахстане он не прекратил активную оппозицию Сталину и борьбу с партией, рассылал телеграммы, письма и воззвания к своим скрытым сторонникам. 16 декабря 1928 года Троцкому было передано требование коллегии ОГПУ «категорического обязательства прекращения контрреволюционной деятельности». В послании указывалось, что в противном случае он будет выслан за границу.
Следует отметить, что еще в 1922 году ВЦИК наделил ГПУ правом высылать из страны лиц, занимающихся антисоветской деятельностью. Троцкий тогда активно поддержал это решение. Но на сей раз официально заявил, что не будет подчиняться ультиматуму ОГПУ. Через месяц Политбюро ЦК ВКП(б) большинством голосов приняло решение о высылке Троцкого за границу. А 18 января 1929 года Особое совещание при коллегии ОГПУ постановило: «За контрреволюционную деятельность, выразившуюся в организации нелегальной антисоветской партии, деятельность которой за последнее время направлена к провоцированию антисоветских выступлений и к подготовке вооруженной борьбы против Советской власти, гражданина Троцкого Льва Давидовича выслать из пределов СССР».