Начальником иностранного отдела ВЧК Давтяна так и не утвердили. Не сложились у него отношения с чекистским руководством. Он, подумав, все-таки предпочел дипломатию как более надежное дело и в конце января 1921 года вернулся в наркоминдел. Его назначили советником полпредства в Венгрию, где власть перешла к революционному правительству.
На посту руководителя иностранного отдела ВЧК Давтяна сменил Рубен Павлович Катанян, который до этого работал в политуправлении Реввоенсовета Республики, а потом в аппарате ЦК партии. Но уже в апреле того же 1921 года он ушел в прокуратуру, а в иностранный отдел вернулся Яков Давтян. Поездка в Венгрию не состоялась, потому что социалистическое правительство там уже свергли. Но и второе пришествие Якова Христофоровича было недолгим. В августе 1921 года он был утвержден полпредом в Литве.
Впрочем, и на дипломатическом посту он охотно выполнял поручения разведки. Он работал в Китае, Туве, Франции, Иране, Греции, Польше, часто совмещая дипломатическую должность с обязанностями резидента внешней разведки.
В Париж он поехал советником полпредства. Полпредом был Христиан Георгиевич Раковский, бывший руководитель Украины, отправленный в дипломатическую ссылку за дружбу с Троцким. Давтян не только вел основную часть дипломатической работы, но и успешно занимался вербовкой агентуры.
«Длительное пребывание в Европе оставило на нем резкий отпечаток, выделивший его среди других крупных советских работников. Высокий красивый брюнет с правильными чертами лица, корректно обращавшийся к окружающим, Давтян производил очень выгодное впечатление. В отличие от прежних послов, Давтян имел еще то преимущество, что владел европейскими языками» — таким полпред в Иране Давтян запомнился Георгию Сергеевичу Агабекову, назначенному в 1927 году резидентом советской внешней разведки в Тегеран.
Агабеков стал первым советским разведчиком, бежавшим на Запад. Свои воспоминания он написал еще в 1930 году. Они вышли под названием «Секретный террор: записки разведчика». Летом 1937 года Агабеков, судя по всему, был ликвидирован недавними сослуживцами из летучей группы иностранного отдела, уничтожавшей перебежчиков.
У Якова Давтяна разведчик Агабеков обнаружил не одни только достоинства:
«Оборотная сторона его характера сводила на нет все его преимущества. Он был трусливым, нерешительным человеком, без всякой инициативы. Трудолюбие его ограничивалось исполнением без размышления всех директив Москвы. По самым незначительным вопросам он запрашивал разрешения Москвы».
Осенью 1937 года Якова Давтяна отозвали из Варшавы, где он был полпредом. 21 ноября арестовали. Его обвинили в работе на польскую разведку и в создании правотроцкистской организации в советском полпредстве в Варшаве. 28 июля 1938 года первого начальника советской разведки расстреляли.