Имя Ивана Лазаревича Лазарева связано с легендами об одном из самых крупных в мире бриллиантов, известном под названием «Орлов». Он был не только состоятельным человеком, но и крупным финансистам, владельцем заводов, основателем чрезвычайно выгодных для русской казны мануфактур. Являлся одним из семи миллионеров в России XVII века.
В 1774 году Екатерина II пожаловала Ивану Лазаревичу Лазареву, его детям и их потомству российское дворянское звание. Именно в память о «милостях» императрицы им была поставлена на свои средства армянская церковь на Невском проспекте, названная «Св. Екатерины».
Его брат Христофор Лазаревич Лазарев в 1779 году в Москве построил церковь по проекту того же Фельтена на Ваганьковском кладбище.
9 мая 1780 года предводители армян-переселенцев с Ованесом Лазаревым посетили императрицу и наследника на даче «Царское село», благодарили за пожелание провести переселение армян в «Ростовский форштат», куда и прибыло 9050 человек 9 декабря 1779 года, чтобы приняться за основание города Нахичевани н/Д и его пяти сел.
Будучи влиятельным человеком в России, Иван Лазаревич Лазарев лично наблюдал за переселением армян из Крыма, а в дальнейшем участвовал в решении вопросов устройства на Донской земле, рождении Указа императрицы и его реализации.
Большим событием для армян России, и нахичеванских в частности, было открытие в ряде городов, где они жили, а также в Москве армянских учебных заведений. В этих начинаниях одна из главных ролей принадлежала Лазаревым, создавшим на свои средства учебные заведения в Москве, в 1815 году называвшиеся Лазаревским институтом восточных языков.
С момента своего возникновения Лазаревское учебное заведение отличалось от других тем, что оно было смешанным — армяно-русским по контингенту учащихся.
Дворянский пансион в Армянском переулке был одним из лучших в то время, и многие дворяне стремились определить своих детей на обучение именно туда.
Среди учеников был Иван Сергеевич Тургенев, который в своих воспоминаниях подчеркивал, что этот дом был для него родным, близким его душе.
Именно в Лазаревском пансионе он испытал первые сильные литературные впечатления, определившие формирование его личности.
В зрелые годы он пишет С. Т. Аксакову: «Помнится, я находился в пансионе в Москве, и нам по вечерам надзиратель Иван Федорович Краузе рассказывал содержание «Юрия Милославского». Невозможно изобразить то поглощающее и поглощенное внимание, с каким мы все слушали; я однажды вскочил и бросился бить одного мальчика, который заговорил посреди рассказа».