После окончания Гражданской войны М.В. Захаров закончил Харьковские курсы командного состава, факультет снабжения, а затем оперативный факультет Военной академии имени М.В. Фрунзе, в 1938 году – Военную академию Генерального штаба. После этого Матвей Васильевич был назначен помощником начальника Генерального штаба. Участник боев у реки Халхин-Гол. По поручению Г.К. Жукова возглавил сводный отряд, получивший задачу выйти на пути отхода одной из группировок противника. По мнению советских историков, проявил решительность, инициативу, высокие организаторские способности. На практике это не соответствует действительности уже по той причине, что по итогам боев полковник Захаров был награжден только орденом Красной Звезды – младшим в иерархии советских военных орденов, которым, как правило, награждали солдат и младших офицеров. Затем был назначен в штаб Киевского Особого военного округа и во время «освободительного» похода советских войск в Бессарабию и Северную Буковину возглавляя штаб 12-й армии, а с осени 1940 года – штаб Одесского военного округа, генерал-майор.
Войска Одесского военного округа практически были разбиты на две группировки. Одна из них в составе 51-й армии и ряда отдельных частей дислоцировалась в Крыму. Другая располагалась на территории Молдавии и в районе Одессы. К началу 1941 года непосредственно у границы с Румынией Одесский военный округ имел 35-й стрелковый корпус (штаб – Кишинев) в составе 176-й, 95-й стрелковых дивизий, 14-й стрелковый корпус (штаб – Болград) в составе 25-й, 51-й стрелковых дивизий, 48-й стрелковый корпус (30-я, 74-я стрелковые дивизии), 2-й кавалерийский корпус (9-я, 5-я кавалерийские дивизии), 2-й механизированный корпус (15-я мотострелковая, 16-я, 11-я танковые дивизии). В составе этих соединений насчитывалось немногим более 100 тысяч личного состава, 573 танка, 602 орудия, 1021 миномет, 759 орудий противотанковой артиллерии, 83 зенитных орудия. Кроме того, вдоль Днестра находилось два укрепленных района – Рыбницкий и Тираспольский, созданные еще в 30-е годы на старой государственной границе с Румынией. За несколько дней по указанию штаба округа в соответствии с директивой Генерального штаба там были начаты работы по оборудованию предполья в глубину до 35 километров от Днестра.
В Одесском военном округе до войны армейских управлений создано не было. По плану, развертывание их должно было осуществляться только в угрожаемый период. Для решения этой задачи непосредственно у границы должна была развертываться 9-я армия, командование которой должен был принять генерал-полковник Я.Т. Черевиченко. На должность начальника штаба планировался генерал-майор М.В. Захаров, а члена Военного совета – корпусной комиссар А.Ф. Колобяков.