14 марта 1937 года в Харькове он был снова арестован. 10 декабря 1937 года А.О. Фирсова приговорили к расстрелу, и в тот же день приговор был приведен в исполнение. Только 12 июля 1957 года Военная коллегия Верховного суда СССР полностью реабилитировала Афанасия Осиповича Фирсова за отсутствием состава преступления.
«Влияние отца на нас, детей, было очень сильным, – вспоминала Ольга Афанасьевна. – Мы ощущали его, даже когда отца не было… его слова, его голос. Он был большим патриотом и очень требовательным. Все, о чем он просил, мы выполняли беспрекословно. Авторитет его в семье был непререкаем».
С Олей отец очень дружил. Ее смелость ему импонировала. Афанасий Осипович поддерживал в детях рискованные начинания. Мать никогда не возражала.
Порядочность, чувство долга и ответственность были само собой разумеющимися понятиями в этой удивительной семье. Оля росла очень общительной. Делала все в жизни добросовестно и сноровисто, должно быть, это было заложено в генах. Однажды отец спросил Олю, не хочет ли она научиться играть на рояле. Девочка сказала, что хочет. После этого в доме появился огромный рояль. Оле шел тогда одиннадцатый год. И Афанасий Осипович не мог предполагать тогда, что сам предопределил будущую профессию дочери. Оля начала заниматься музыкой с учительницей. Поначалу музыкой увлекался и брат Игорь. Но скоро бросил это занятие, охладел. Оля не бросила.
Поступила учиться в музыкальное училище Василеостровского района Ленинграда. Одновременно преподавала музыкальное воспитание в 105-й школе для трудновоспитуемых детей. Отсюда с 1929 года и начался отсчет ее трудового стажа. В это же время она экстерном сдала вступительные экзамены в московский вуз по специальности «Электромашиностроение». Через год от инженерной карьеры отказалась окончательно, решила учиться в консерватории.
Для того чтобы заработать на жизнь, она не гнушалась никаким трудом: убирала туалеты, чистила железнодорожные пути, работала грузчиком, официанткой, гардеробщицей, сборщицей радиодеталей…
Жила Ольга в то время на улице Максима Горького в доме № 27. Ниже этажом жил известный дирижер Карл Ильич Элиасберг.
Ее альпинистская тропа началась с того, что отец, впервые в жизни получив отпуск, отправился с шестнадцатилетней Олей в Крым, где путь от Севастополя до Алушты они прошли по горному маршруту. Этот поход оставил у нее на всю жизнь неизгладимое впечатление – она влюбилась в горы.
В консерватории сложилась хорошая студенческая спортивная компания. Всем дружным коллективом в выходные дни выезжали в Кавголово кататься на горных лыжах. Там ее и увидел студент Михаил Шестаков. В консерватории он занимался по классу виолончели, а Оля – по классу хорового дирижирования.