Здесь переулок выходит к полностью перестроенному Ружейному переулку, сохранившему только одно старое здание - живописный жилой дом (N 2), похожий на шкатулку, с двумя беседками в русском стиле на крыше, построенный в 1914 т. архитектором М. А. Исаковым. В этом переулке, название которого произошло от Ружейной (или Станошной) слободы, на месте N 3 стоял одноэтажный деревянный домик, где в 1858 г. после возвращения из сибирской ссылки поселился поэт-петрашевец А. Н. Плещеев, а на месте N 5 - 7 находился пансион преподавателя музыки Н. С. Зверева, воспитавшего замечательных композиторов и музыкантов Матвея Пресмана, Александра Скрябина, Сергея Рахманинова, которые так и назывались - "зверята".
Долгий переулок (с 1947 г. улица Бурденко) почти под стать 1-му Неопалимовскому по длине - он, возможно, и стал так называться из-за своей протяженности, но, правда, есть и другое мнение о происхождении его названия: тут якобы владел землей некий конюх по фамилии Долгов.
Почти вся левая часть переулка занята мрачным зданием, начатым в 1987 г., а также строениями Военной академии имени Фрунзе, находящимися за Новоконюшенным переулком. Уцелело от старой застройки очень немного - невидный и архитектурно неинтересный дом под N II, выстроенный в конце 1928 г. для жилищного кооператива "Заря", в котором жили знаменитые медики Н. Н. Бурденко, В. Н. Виноградов, М. И. Певзнер, и почти уже у конца переулка одна из архитектурных жемчужин города - дом N 23, выстроенной в 1818 г. для коллежского советника Г. А. Палибина, директора чертежной в Межевой канцелярии. При его реставрации (авторы В. А. Резвин и другие) были обнаружены редчайшие росписи по бумаге на потолках и стенах, которые бережно восстановлены, но они скрыты за штукатуркой, ибо раскрытие их нанесло бы им непоправимый вред. Были сохранены и уникальные двери и редкие изразцы... В этом доме теперь регулярно проводятся разнообразные выставки.
На правой стороне переулка сохранилось значительно больше интересных зданий. На доме N 8 помещена доска с надписью "памятник истории", напоминающая о том, что здесь в 1915 - 1921 гг. жил художник В. В. Кандинский. Он приобрел участок, на котором в 1914 г. выстроил большой доходный дом (проект архитектора Д. М. Челищева), где на шестом этаже для него была сделана квартира, соединяющаяся лестницей с мастерской, находившейся в угловой башне. Эту квартиру можно определить по единственному в доме широкому трехчастному окну со стороны 3-го Неопалимовского переулка. Кандинский долгое время жил в Германии и только с началом первой мировой войны был вынужден возвратиться в Россию. В то время его квартира была занята, и в июле 1915 г. он поселился на пятом этаже. Здесь он провел шесть лет, туг у него родился сын, здесь было создано немало картин и, в том числе, цикл "Зубовская площадь". "...Я много работаю. Я пишу пейзажи, которые вижу из своих окон: при солнце, ночью, когда пасмурно". Есть сведения, что подъезд, в котором была квартира Кандинского, был расписан художником. В 1921 г. В. В. Кандинский был послан в заграничную командировку, из которой он в Советскую Россию уже не вернулся.