Члены семьи московских служилых дворян, Талызины при Петре I были в числе первых русских моряков, получивших специальное образование в Голландии и Италии. Но обстоятельства не позволили им ограничиться одним морским делом. С начала 1760-х годов они принимают участие в дворцовых событиях, существенно сказавшихся на их собственных судьбах.
Адмирал И.Л. Талызин, пользовавшийся особой благосклонностью императрицы Елизаветы Петровны, принимает сторону ненавидимой ею великой княгини — Екатерины Алексеевны. В момент переворота Екатерина доверяет И.Л. Талызину захват Кронштадта, где мог теоретически найти себе, и притом очень надежное, убежище находившийся в Ораниенбауме Петр III со своими сторонниками — голштинскими офицерами. И.Л. Талызин является в крепость с собственноручной запиской Екатерины: «Господин адмирал Талызин от нас уполномочен в Кронштадте, а что он прикажет, то исполнять». Появившийся здесь с некоторым опозданием Петр III был встречен им ставшей знаменитой фразой: «Поскольку у вас не хватило решительности задержать меня именем императора, я вас беру под стражу именем императрицы».
Вместе с дядей в перевороте участвовали три племянника адмирала — Александр, Петр и Иван. Услуга, оказанная первым из них, вроде бы, пустяковая: Александр Талызин предоставил императрице свой мундир, в котором она могла принять присягу на верность гвардейцев. Эта реликвия хранилась в выстроенном в Москве, на Арбате-Воздвиженке, доме, где Александр Федорович поселился со своей женой, дочерью фельдмаршала С.С. Апраксина. Охлаждение Екатерины ко всей семье Талызиных наступило очень быстро, и в 1765 году, выйдя в «чистую» отставку, адмирал, как и его племянники, поселился в Москве, привечавших всех недовольных.
Любопытно, что из числа трех братьев Петр Талызин, дослужившийся до чина генерал-поручика, стал участником заговора против Павла I, но в последний момент изменил плану заговорщиков и поддержал Александра I в деле сохранения самодержавия. Его последовавшую через два месяца после убийства императора смерть современники объясняли местью былых товарищей по заговору. Существовал в разговорах и иной вариант — зазрившая совесть. Вместе с дядей в заговоре против Павла I принимал участие и представитель третьего поколения Талызиных — его племянник, капитан лейб-гвардии Измайловского полка А. И. Талызин, который в 1816 году приобрел по соседству, на Никитском бульваре, дом, ставший последней квартирой Н. В. Гоголя.
Размах талызинского строительства на Воздвиженке свидетельствовал о значительных материальных средствах заказчика. На улице были сооружены главный трехэтажный дом и два двухэтажных флигеля, обращенных к Воздвиженке торцами. Между ними находились ведшие во внутренний двор двое украшенных парными колоннами ворот. Скорее всего, по московскому обычаю, во флигелях были использованы части старой постройки.