Столь же восторженно-хвалебные отклики встречаются практически во всех мемуарах зэков, работавших под руководством Барабанова. Вот слова другого «политика» со стройки № 501 — Лазаря Шерешевского: «Полковника Василия Арсентьевича Барабанова называли “дядя Вася”. Это был незаурядный человек… в глубине души понимавший, как много среди его подопечных безвинно страдающих людей. Исполняя все требования своей службы, он сумел всё же сохранить человеческий облик, заботился о культуре и медицинском обслуживании заключённых, старался, насколько это было в его власти, облегчить участь тех или иных попавших в беду людей».
По воспоминаниям лагерников, отбывать срок в лагерях 501-й стройки было намного лучше, чем на других командировках ГУЛАГа. Особенно это касалось питания. В то время как в стране свирепствовал голод, зэков кормили намного лучше, чем свободных граждан. Чтобы поддержать людей, Барабанов вводит дополнительный паёк, который тут же получил название — «барабановский». «Те, кто работали на мосту, на болоте (а это были самые трудные участки), — вспоминал политссыльный Павел Хачатурян, — получали “барабановский” паёк: хлеб, колбасу, сыр. В цистерне завозился спирт, каждому давали по 50 граммов. Прибывал вагон с махоркой, его называли “барабановским вагоном”». Лагерник Владимир Басовский описывает паёк: 900 граммов хлеба на день, большая чашка каши (чаще всего — перловой), при выполнении нормы на 150 % добавляли свинину, колбасу.
Полковник требовал от МВД присылать на строительство дороги преимущественно «политиков» (58-ю статью УК) и бытовиков. Он исходил из того, что именно среди «контриков» больше всего представителей интеллигенции, особенно технической, а среди бытовиков — ответственных работяг. Тщательно отбирал Василий Арсентьевич из числа «врагов народа» также врачей, понимая важность здоровья строителей, старался выбить медикаменты, средства гигиены, должности медперсонала… Смертность на «стройке № 501» была самой низкой по всем лагерям СССР — от 0,02 до 0,08 %…
Дело не только в прагматизме начальника железнодорожного строительства. Барабанов относился ко всем заключённым так же, как к вольнонаёмным. Того же он требовал от всех своих подчинённых. Так, в посёлке Ермакове зоны для «малосрочников» располагались рядом с постоянными гражданскими строениями (ПГС) и заключённым разрешалось общаться с вольными.
Отношение полковника к заключённым характеризуют и другие, казалось бы, совершенно невероятные факты, изложенные в отчётах по содержанию лагерей. Например, начальник военизированной охраны (ВОХР) майор Рузин ударил по лицу заключённого из числа самоохраны (она состояла из зэков). От должности отстранён, наказан в дисциплинарном и партийном порядке. Старший надзиратель 1-го отдела Павел Фунтиков систематически избивал заключённых. С должности надзирателя снят и отдан под суд. Стрелок 1-го отряда ВОХР Георгий Соловьёв на вахте тоже постоянно избивал рабочих-лагерников. Привлечён к уголовной ответственности и осуждён к полутора годам лишения свободы.