В Москве начался новый этап жизни вьетнамца, оказавший решающее влияние на формирование его как политического и государственного деятеля. Здесь он изучал вопросы партийного строительства, участвовал в работе 5-го конгресса Коминтерна. Проработав в Коминтерне около полутора лет, Хо Ши Мин уехал в Южный Китай, в Кантон, где числился переводчиком в российском консульстве. Здесь он организовал из вьетнамцев-эмигрантов нелегальную группу, ставшую ядром «Товарищества революционной молодежи Вьетнама». В конце 20-х гг. во Вьетнаме возникли 3 коммунистические организации, не ладившие между собой. Для их примирения в 1929 г. Коминтерн направил своего представителя – Хо Ши Мина. Ему удалось примирить группировки, и в 1930 г. на основе их объединения образовалась коммунистическая партия Вьетнама, тогда же преобразованная в коммунистическую партию Индокитая. Создание партии по времени совпало с разгромом Йенбайского восстания и террором, развязанным французскими властями, в ходе которого погибли многие руководители партии.
В это время Хо Ши Мин находился в Сингапуре, представляя Восточное бюро Коминтерна. В июне 1931 г. в Гонконге его арестовали англичане. Только благодаря вмешательству международных организаций через два года Верховный суд Великобритании вынужден был его освободить. После этих событий Хо Ши Мин выехал в СССР.
Период 1934–1938 гг. оказался довольно трудным в жизни Хо Ши Мина. Должности, занимаемые им в Коминтерне были намного ниже, чем у более молодых товарищей-вьетнамцев. Это объяснялось критикой руководства Коминтерна в его адрес в отношении его предшествующей работы. Однако Хо Ши Мин нашел поддержку и защиту в лице В. Я. Васильевой, руководящего работника Коминтерна. Она, оберегая его от вовлечения во внутреннюю борьбу в КПИК, создала условия для того, чтобы он учился в Москве. В 1938 г. Хо Ши Мин снова уехал в Китай. А в это время в Сайгоне были арестованы руководители КПИК, и уже к началу 40-х гг. стало ясно, что активизировать революционное движение может только Хо Ши Мин.
В 1941 г. Вьетнам оккупировали японцы. Для борьбы с ними Хо Ши Мин учредил Лигу борьбы за независимость, которая некоторое время сотрудничала с США и Чан Кайши. В 1942 г. он направился в Китай для установления связей с КПК, но на границе был арестован гоминьдановцами. Последующие 2 года Хо Ши Мин, обвиненный в шпионаже, провел в тюрьме. Находясь там, он написал «Тюремный дневник» – поэтический цикл, содержавший около 100 стихотворений. По возвращении на родину Хо Ши Мин начал создавать в джунглях партизанские отряды. Первый из них состоял всего из 34 человек.