Часть строений в Харитоньевском переулке Николай Борисович сдавал внаем. В 1801 году средний дом комплекса с хозяйственными службами – фряжским погребом, кладовой, кухней с приспешной избой, погребом, амбаром, конюшней, хлебным и каретным сараями – снимал Сергей Львович Пушкин, отец великого поэта. К тому времени близ дома были разбиты оранжерея и фруктовый сад, в котором гулял с няней маленький Пушкин. Позднее он перенес свои детские впечатления от сада в поэму «Руслан и Людмила». Будущий поэт прожил в Харитоньевском только три года, но с этим переулком связано множество событий. Еще в 1797 году бабушка поэта Ольга Васильевна приобрела в соседнем Малом Харитоньевском скромную усадьбу.
Еще несколько десятилетий назад на углу двух Харитоньевских переулков стоял дряхлый одноэтажный деревянный домик. По одной из московских легенд, именно он упоминается в седьмой главе «Евгения Онегина» – «у Харитонья в переулке». Этот домик так и назывался – «Ларинским» или «домом Татьяны». Вполне возможно, Ларины имели «родственные связи» с Юсуповыми. Татьяна приехала к княжне Алине, московской кузине своей матери, а в 1820‑х годах во дворце действительно жила княжна Алина – сестра Николая Борисовича Александра Борисовна Юсупова. Некоторые москвоведы полагают, что именно с легкой руки Пушкина переулок, на котором находится Юсуповский дворец, получил название Харитоньевский. В пушкинские времена переулок назывался Хомутовский – по имени домовладельца Хомутова, жившего здесь в XVIII веке. На протяжении всей жизни Пушкин имел приятельские отношения с князем Юсуповым. Последняя их встреча произошла незадолго до смерти Николая Борисовича в 1831 году на праздничном ужине, устроенном четой Пушкиных. После кончины князя Пушкин написал в одном из писем: «Мой Юсупов умер». Поэт посвятил ему стихи:
От северных оков освобождая мир,
Лишь только на поля, струясь, дохнет зефир,
Лишь только первая позеленеет липа,
К тебе, приветливый потомок Аристиппа,
К тебе явлюся я; увижу сей дворец,
Где циркуль зодчего, палитра и резец
Ученой прихоти твоей повиновались
И вдохновенные в волшебстве состязались.
В начале XIX века дом, в котором жили Пушкины (его принято называть «средним»), а также бывшие палаты купца Чирьева переходят во владение князю А. И. Вяземскому. На планах того времени видны два разновеликих двухэтажных здания, стоящие уступами относительно друг друга в глубине двора. В московском пожаре 1812 года палаты сильно пострадали, внутри практически ничего не удалось спасти. После изгнания французов владения отремонтировали и восстановили прежнее декоративное убранство. В середине XIX века «средний» дом перестраивается и приобретает П‑образное очертание. Сын Николая Борисовича Борис Николаевич Юсупов – церемониймейстер императора Николая I, действительный тайный советник – жил в основном в Петербурге и в Москву заглядывал нечасто. Только в 1860‑х годах жизнь во дворце Юсуповых вновь забила ключом. При новом владельце, князе Николае Борисовиче Юсупове‑младшем, палаты были отремонтированы, а у надворного советника Племянникова выкуплен «средний» дом.