В самом начале Арбата-Воздвиженки сооружается Опричный двор (между Моховой, Воздвиженкой, Большой Никитской и Романовым переулком). Строительство его велось с 1565 по 1567 год. Прямоугольный в плане Опричный двор был окружен стеной. С юга, востока и севера он имел ворота. Внутри находились два дворцовых здания, соединенных крытым переходом. Снаружи, у внешней стены, располагались опричные приказы. В 1571 году, во время нашествия крымского хана Девлет-Гирея, двор сгорел, но был отстроен. В более поздней постройке XVIII века археологи обнаружили две белокаменные палаты с кирпичными сводами из большемерного кирпича и со столпами. Они находятся на территории старого здания Московского университета.
Опричнина просуществовала до смерти Грозного в 1584 году, хотя самое слово приказом царя было выведено из употребления и заменено определением «дворовый». Вместо «города и воеводы опричные и земские». При Грозном стали говорить «города и воеводы дворовые и земские». А в районе Воздвиженки-Арбата распоряжался не только чужой, но и своей собственной, «государевой» землей, как в Старом Ваганькове.
Ваганьково, в части нынешнего Пашкова дома, или, точнее, Российской государственной библиотеки, называет «духовная» — завещание великой княгини Софьи Витовтовны, невестки Дмитрия Донского. В духовной так и говорилось после перечисления сел, казны, рухляди и двора в Кремле: «А за городом дала есмь ему Елизаровский двор и со всем что к нему потягло». Речь шла о любимом младшем внуке великой княгини Юрии Меньшом Дмитровском, о котором летописец отмечал, что «татары самого имени его трепетаху». Это он вместе с братом Андреем одержал в 1468 году полную победу над казанским ханом, а спустя четыре года не дал другому хану — Ахмету перейти через Оку у Алексина. К бабкиному наследству прибавилась по завещанию отца треть Москвы, города Можайск, Серпухов и Хотунь, что делало его положение в Московском княжестве значительным.
Но умер Юрий Васильевич совсем молодым, женат не был, и Елизаров двор, уже успевший потерять былое название, отказал великому князю: «А что мое место Ваганково да и двор на Ваганкове месте, чем мя благословила баба моя, великая княгиня, а то место и двор господину моему, великому князю, опричь того места, что есмь того же Ваганкова дал Великому Николе в дом на Пешнош». Николо-Пешношский монастырь был своего рода придворным для великого дмитровского князя.
Иван III почти на тридцать лет переживет младшего брата. При нем в Ваганькове уже будет числиться Государев двор, обозначавшийся для большей точности местоположения — «на Козьей бороде» — броде, по предположению некоторых историков. Былой Елизаров двор занимал точно место нынешнего Пашкова дома, село Ваганьково — участок новых зданий Российской государственной библиотеки. Стоит вспомнить, что был первоначальный владелец этой земли — Елизар Васильевич крещеным татарином, сыном перешедшего на службу к московскому князю царевича Евангула, человеком для сына Софьи, великого московского князя Василия II Темного, тем более ценным, что верно «держал руку» его против заклятого врага московского правителя — Дмитрия Шемяки.