Сыновьям Алексея Ивановича досталось в наследство крепкое семейное дело, оставалось лишь не растерять нажитое отцовским трудом. Братья Василий, Михаил и Иван Перловы оказались прекрасными коммерсантами. В 1816 году они открыли в гостином дворе амбар для оптовой торговли чаем, который снабжал товаром сотни мелких лавок по всей Москве. «Перловский» чай стал настоящим брендом, его любили и мещане, и купцы, и дворяне. Москвичи выбирали чай по своему достатку. Для каждого сорта была установлена особая цена. В качестве рекламы Перловы использовали специальные алюминиевые чайницы с красивыми изречениями о чае: «Свойство сему напитку – осаждать пары, освежать и очищать кровь» или «Чай не пьешь – откуда силы?». В 1823 году Перловы открыли один из первых в Европе специализированный чайный салон в самом центре торговой жизни Москвы – на улице Ильинке. Вскоре Перловы стали официальными поставщиками императорского двора.
В эпоху преобразований Александра II Василий Алексеевич Перлов основал товарищество чайной торговли «В. Перлов с сыновьями». К тому времени чайная торговля расширилась настолько, что «перловский» чай появился на международном рынке. Заручившись поддержкой императора, Василий Алексеевич стал одним из крупнейших чаеторговцев в Европе. Товарищество «В. Перлов с сыновьями» конкурировало с лучшими фирмами из Англии и Голландии. Во второй половине XIX века перловские чайные салоны открылись в Вене, Берлине, Париже и других европейских столицах. Перловы поставляли чай даже ко двору Габсбургов. «Чайные короли» – а именно так стали называть Перловых – владели девятью десятками магазинов в России и Европе. В Москве были открыты четырнадцать магазинов на центральных улицах, где продавали также кофе и сладости. В 1887 году со всемосковским (и даже всероссийским) размахом при огромном стечении народа отмечали столетие семейного чайного дела. Император Александр III пожаловал Перловым потомственное дворянство – «во внимание к столетней деятельности рода московских купцов Перловых на поприще торговли и в воздаяние их заслуг».
Еще в 1836 году Василий Алексеевич купил усадьбу на Первой Мещанской улице недалеко от Сухаревой башни. В середине XIX века было приобретено владение на Мясницкой улице, которое в разное время принадлежало знаменитым дворянским родам: Волконским, Вяземским и Измайловым. После смерти основателя товарищества «В. Перлов с сыновьями» фирма и усадьба на Первой Мещанской досталась старшему сыну Семену Васильевичу. Младший же сын Сергей Васильевич довольствовался домом на Мясницкой. Ему пришлось начинать свое дело практически с чистого листа. Он основал собственное товарищество чайной торговли «Сергей Васильевич Перлов и Ко» и разместил его вместе с чаеразвесочной фабрикой в доме на Мясницкой. Родные братья стали страстными конкурентами, причем не только в торговле чаем. В конце XIX века они пригласили одного и того же архитектора Р. И. Клейна для перестройки их владений. Клейн переделал усадьбу на Первой Мещанской в пятиэтажный доходный дом, в котором расположились фирменный магазин, деловая контора, чаеразвесочная фабрика и жилые помещения.