Уже тогда клуб не знал отбоя от желающих в него вступить. Поэтому число членов ограничивалось сначала 300, а позже 500 дворянами. Известный мемуарист С.П. Жихарев в своих записках, относящихся к 1806 г., дает Английскому клубу в высшей степени похвальную характеристику:
«Какой дом, какая услуга – чудо! Спрашивай чего хочешь – все есть и все недорого. Клуб выписывает все газеты и журналы, русские и иностранные, а для чтения есть особая комната, в которой не позволяется мешать читающим. Не хочешь читать – играй в карты, в бильярд, в шахматы. Не любишь карт и бильярда – разговаривай: всякий может найти себе собеседника по душе и по мысли. Я намерен непременно каждую неделю, хотя по одному разу, бывать в Английском клубе. Он показался мне каким-то особым маленьким миром, в котором можно прожить, обходясь без большого. Об обществе нечего и говорить: вся знать, все лучшие люди в городе являются членами клуба».
А вот мнение еще одного очевидца, побывавшего здесь в 1824 г. С.Н. Глинка, беллетрист, издатель «Русского вестника» писал: «Тут нет ни балов, ни маскарадов. Пожилые люди съезжаются для собеседования; тут читают газеты и журналы. Другие играют в коммерческие игры. Во всем соблюдается строгая благопристойность».
Английский клуб всегда твердо сохранял воспетую Глинкой серьезность тона, чураясь театрализованных увеселений. Этому способствовало жесткое правило: лишь по требованию пятьдесят одного члена клуба старшины имели право пригласить для развлечения певцов или музыкантов. Зато любители сладостей не оказывались обойденными, и в отдельной комнате их постоянно ждали наваленные грудами конфеты, яблоки и апельсины.
До того, как обосноваться на Тверской, члены Английского клуба собирались в доме князей Гагариных на Страстном бульваре, у Петровских ворот. 3 марта 1806 г. здесь был дан обед в честь генерала П.П. Багратиона. «…Большинство присутствовавших были старые, почтенные люди с широкими, самоуверенными лицами, толстыми пальцами, твердыми движениями и голосами», – описывал Лев Толстой это событие в романе «Война и мир».
Во время московского пожара 1812 г. дом Гагариных сгорел дотла. С 1813 г. деятельность Английского клуба возобновилась в доме И.И. Бенкендорфа на Страстном бульваре. Но так как этот дом оказался для клуба неудобным, то вскоре его члены стали собираться в особняке H.H. Муравьева на Большой Дмитровке. Прошло 18 лет, пока выбор старшин клуба не остановился на доме, что и по сей день украшает Тверскую.
Среди основателей и первых членов клуба выделялись представители знатных княжеских родов: Юсуповы, Долгоруковы, Оболенские, Голицыны, Шереметевы. Уже позднее, от прочих сословий были здесь представители поместного дворянства, московские купцы и разночинная интеллигенция.