Впрочем, дел у Яковлева хватало и без этого. Со второй половины 20-х гг. он становится научным руководителем создания алфавитов для языков народов СССР. Эта широкомасштабная деятельность не имела аналогов в мире ни до, ни после этого. После революции в стране была поставлена задача развить все языки, функционировавшие в стране, до уровня европейских языков, решение этой задачи получило название языкового строительства. Центральным компонентом такого строительства стало создание письменностей для бесписьменных языков или языков, обладавших лишь неадекватным письмом, например, арабским. В ходе языкового строительства ликвидировалась неграмотность, распространялось элементарное образование, создавались условия для дальнейшего культурного роста, формировалась новая интеллигенция. Объективно шел процесс сближения культур разных народов с мировой культурой. Но одновременно жесткими методами форсировался разрыв со всеми традициями, а в задачах языкового строительства имелось много утопического. Ставилась задача дать возможность каждому гражданину СССР читать Шекспира и Ленина на родном языке, но оказывалось, что одним такое чтение не было нужно вообще, а другие предпочитали это делать по-русски.
Но научное обеспечение языкового строительства оказалось высококлассным. Здесь мы видим пример успешного «госзаказа», когда цели государства оказались направленными в ту же сторону, что развитие науки. Создание алфавитов – прикладная фонология, что отмечал и сам Яковлев. Только те звуковые признаки, которые различают смысл и ощущаются носителями языка, должны (не обязательно взаимно однозначно) отражаться на письме, а создатели алфавитов еще в древности были, по выражению Яковлева, «стихийными фонологами». Но теперь на основе разработанной научной теории можно было создавать рациональные системы письма, этим целям служила и упомянутая выше «математическая формула построения алфавита», уменьшавшая число букв.
Вокруг Всесоюзного центрального комитета нового алфавита (1925–1937) сложился коллектив из крупных языковедов, специалистов по разным языкам и языковым группам, в большинстве молодых, хорошо образованных и знающих фонологию. Им помогали интеллигентные носители языков, для которых готовились алфавиты. В работе комитета некоторое время участвовал и Е. Д. Поливанов, но у него с Яковлевым началась борьба за первенство (осложнявшаяся принадлежностью к разным фонологическим школам), закончившаяся поражением Поливанова. Однако на ее исход повлияет появление третьей мощной силы в лице академика Н. Я. Марра.