Переписка между Москвой и Вашингтоном принимала все более острый характер. А в марте 1934 года произошел следующий инцидент. Трояновский, не зная, что Моссовет изменил свою позицию относительно предоставления американскому посольству участка на Воробьевых горах, сообщил Буллиту, что московские власти готовы удовлетворить его просьбу. Возмущенный этим, Литвинов направил Сталину письмо, которое заканчивалось гневным словами: «Так как это не первый случай недисциплинированности Трояновского и игнорирования директив НКИД (достаточно вспомнить стоившую нам многих десятков тысяч руб. и неприятностей историю с японским театром), я должен предупредить, что если Трояновскому вовремя не будет сделано соответствующее внушение и предупреждение против «самостийности», то мы не ограждены от крупных неприятностей с Америкой».
В июле 1934 года посольство получило копию представленной руководству записки о разговоре Литвинова с Буллитом 13 мая. В ней было сказано: «Сделанное сегодня Буллитом предварительное предложение очень напоминает мысли, высказанные в разных шифровках Трояновским. Приходится думать, что либо Трояновский передал мысли, изложенные ему американцами, не упомянув об этом, или же, что будет гораздо хуже, он сам подсказывал американцам сегодняшнее предложение».
Если до этого отец оставлял колкие замечания наркома без должного ответа, то теперь он решил, что дальше не реагировать нельзя. 24 июля 1934 года он обратился к Сталину с личным письмом, где указывал, что его предложение серьезно отличалось от проекта Буллита. Он заявил далее, что, «…если бы я подсказывал без согласия своего правительства какие-то предложения, которые идут вразрез с предложениями, сделанными с нашей стороны, я был бы повинен в большом преступлении…
Обвинение, выдвинутое по моему адресу Литвиновым, я не могу оставить без внимания. Я знаю, что этот человек зол на меня до последней крайности за то, что ЦК не согласился с его позицией по вопросу о кандидатурах для полпредства и консульств в Америке. Свою злобу он вымещает теперь вместо ЦК на мне…
У меня могут быть упущения и ошибки, но в нечестности меня еще никогда никто не обвинял. При создавшейся обстановке все, что я буду предлагать, будет встречаться Литвиновым не только критически, что неплохо, но непременно враждебно.
Обдумывая это, я вынужден ставить вопрос о моем отзыве отсюда.
Я никогда не горел желанием работать за границей и очень хочу работать в Москве. Моя кратковременная работа в Госплане меня больше удовлетворяла, чем работа здесь. И, кажется, я работал там неплохо. Я хочу этим сказать, что я способен к другой работе, кроме дипломатической…