В 1727 г. Пётр II пожаловал дворец «за службу» князю Г. Д. Юсупову, потомку ногайских ханов. Этот подарок Юсуповы ценили и никому не передаривали и не продавали. Палаты оставались их собственностью почти двести лет, хотя во второй половине XIX века князья тут уже не жили, отдав помещения под работный дом.
Внук подполковника, Н. Б. Юсупов, был очень богатым и хорошо образованным человеком, это ему А. С. Пушкин посвятил стихотворение «К вельможе». Ему принадлежали великолепная библиотека, картинная галерея, собрание превосходных статуй и свой театр (он занимал дом № 24). В его дом съезжались не только вельможи, но и даровитые художники и учёные. Здесь часто давались балы, спектакли и устраивались музыкальные и литературные вечера.
Рядом с двором князя Б. Г. Юсупова, ближе к Садовому кольцу, стоял двор канцлера графа А. П. Бестужева-Рюмина. Напротив тесных старинных палат, на другой стороне переулка, располагался большой трёхэтажный каменный дом, тоже принадлежавший Юсуповым и возведённый специально для устройства праздников и приёма гостей. Возле него был разбит обширный регулярный парк в версальском стиле. Там часто гулял маленький Саша Пушкин, позже написавший:
… И часто я украдкой убегал
В великолепный мрак чужого сада,
Под свод искусственный порфирных скал.
Там нежила меня дерев прохлада;
(…)
Любил я светлых вод и листьев шум,
И белые в тени дерев кумиры,
И в ликах их печать недвижных дум…
Пушкины часто переезжали из дома дом, но переулок не покидали. Они жили то в доме Волковых (№ 2), то снимали флигель дома Юсуповых, то в доме графа Санти (№ 8) (в 1803–1807 гг.), то чуть поодаль, на углу Мальцева (ныне Малого Козловского) переулка в доме князя Ф. С. Одоевского (отца писателя).
В 1812 г. почти все деревянные дома сгорели. Сгорел и знаменитый Юсупов сад. А вот старинные палаты устояли перед безжалостным пламенем. После пожара всё вокруг застроили деревянными домами, один из них простоял очень долго, застав даже XX век (теперь на месте этого дома сквер). Это ветхое жилище людская молва прозвала «Ларинским домом», предполагая, что именно его имел в виду Пушкин, описывая приезд Татьяны Лариной в Москву:
…Вот уж по Тверской
Возок несётся чрез ухабы.
(…)
В сей утомительной прогулке
Проходит час-другой, и вот
У Харитонья в переулке
Возок пред домом у ворот
Остановился. К старой тётке,
Четвёртый год больной в чахотке,
Они приехали…
На самом же деле этот дом принадлежал Ершову, считающемуся автором сказки «Конёк-Горбунок». Почему «считающемуся»? Да не всё так просто с этой сказкой! Уж больно она походит на пушкинские, а сам Ершов впоследствии ни разу не написал хоть что-нибудь даже близко приближающегося к этому творению. Пушкин часто был сильно стеснён в средствах и вынужден был порой скрывать свои доходы от кредиторов. Изучив тексты и отношения двух поэтов, литературоведы выдвинули версию, что настоящим автором «Конька-Горбунка» является Александр Сергеевич, а Ершов был всего лишь подставным лицом, чьё имя использовали по договоренности, чтобы все гонорары не ушли на оплату долгов.