В том же 1928 году Давид Ойстрах переехал в Москву. Москва встретила его хорошо — Ойстраха знали. Он быстро освоился и стал своим человеком в кругу столичных музыкантов, причем не простых, а выдающихся, таких как К. Н. Игумнов, Г. Г. Нейгауз, М. Б. Полякин, В. В. Софроницкий, А. И. Ямпольский, Л. М. Цейтлин. Давид Ойстрах буквально поразил их ярким талантом и неожиданной для своих лет зрелостью.
Поначалу с деньгами у семьи Ойстрахов (Давид Федорович к тому времени уже был женат) было туго. Ради заработка Ойстрах выступал в концертах в качестве антуража с одной известной в то время певицей, поскольку своих концертов у него было мало. Жене Давида Федоровича, Тамаре Ивановне, пришлось печь пирожки и продавать их на базаре. С тех пор Давид Федорович любил повторять, что плохих пирожков не бывает, пирожки могут быть только хорошими или очень хорошими.
В 1931 году у Давида Федоровича и Тамары Ивановны родился сын Игорь.
От концерта к концерту слава Ойстраха-скрипача растет. В 1934 году его приглашают преподавать в Московской консерватории. Педагогическая работа увлекает Ойстраха. «Я ничему не могу научить ученика, но вместе с ним мы можем многому научиться, вместе пойти вперед. Но я всегда помню, что ученик должен превзойти своего учителя, пойти дальше его. Это — самое трудное в педагогическом деле», — признавался Ойстрах.
Подобно Столярскому Ойстрах старался воспитывать не последователей, копирующих манеру исполнения педагога, а мастеров, обладающих своей, личной манерой игры, своеобразной и неповторимой. «Я порой должен „влезть“ в ученика, — говорил Ойстрах, — попытаться играть его руками, думать его головой, ошибаться так, как он. Лишь тогда начинаешь по-настоящему понимать его трудности и его возможности».
Ученики Давида Федоровича вспоминают его с неизменной теплотой. Александр Винницкий, профессор консерватории в Турку, Финляндия:
«Мое самое яркое впечатление — первая встреча с Давидом Ойстрахом. Когда я, мальчик-подросток, пришел к нему на прослушивание, первое, что он спросил у меня, было: „Могу ли я вас называть на „ты““?
Меня это поразило. Давид Ойстрах оказался очень простым, добрым и уютным в общении человеком. Все пять лет, которые я занимался в его классе, были удивительными. Я их часто вспоминаю и буду всю жизнь вспоминать».
А вот что вспоминала об одном из уроков Ойстраха с французской скрипачкой известная польская скрипачка и композитор Гражина Бацевич: «Ученица сыграла свою сонату — Давид слушал с большим вниманием. Когда она окончила, он сказал: „Великолепно, прекрасно, ты делаешь большие успехи. Исправила интонацию, обогатила динамику, аккорды уже не звучат так тупо и т. д.“. Радость, отражавшаяся на лице француженки, росла с каждой минутой. А так как оценка в самой превосходной степени продолжалась долго, то и радость дошла до грандиозных размеров. Когда девушка наконец почувствовала себя настоящей скрипачкой, Давид приступил к критике.