В то время, когда Балакирев смехом заглушал слезы, шутками облегчал боль от княжеских пинков и затрещин, кувырканьями и прыганьем разминал ноги, избитые палками, в это время приятель его Егор Михайлович Столетов коротал дни в Нерчинске.
По возвращении из Рогервика в 1725 году Столетов проводил время на «свободе», потом служил при дворе цесаревны Елисаветы и постоянно вращался в мире сплетен, интриг и разных козней придворных чинов мелкой стати. С этим миром он издавна обвыкся. Он не обращал внимания на то, что аристократы «гордили» с ним, вообще относились к нему, к каторжнику, весьма презрительно, впрочем, не за то, что он был в каторге (в то время многим была она знакома), но за его низкое происхождение. Столетов не обращал внимания на их презрение, он все-таки продолжал соваться в кружки князя Белосельского, князя Куракина, князей Долгоруковых и др.; находил себе милостивцев, старался быть им полезным. Человек не без способностей, но тщеславный, самоуверенный, болтливый, он скоро поплатился за то, что вновь отдался интригам и сплетням дворцового мира. В 1731 году, по розыску, за вины Столетова сослали в Нерчинск. Вины его рассказаны, по подлинному делу, на страницах «Русской старины», изд. 1873 года, том VIII, стр. 1-27. Он пострадал вообще за связи и службу князьям Долгоруким, за болтовню неосторожную, за сплетни.
В отдаленном Нерчинске он пользовался свободой, был принят в доме начальника, мог заниматься чем угодно, ходить куда угодно; но бездействие, а главное, жизнь вдали от той сферы, среди которой он взрос, скоро его озлобили и вызвали на ряд опрометчивых поступков. Он стал рассказывать важные тайны дворцового быта, хорошо ему известные. Говорил о царевне и герцогине Мекленбургской Катерине Ивановне и князе Михаиле Белосельском, об императрице Анне Ивановне и герцоге Бироне, высказывал сочувствие к цесаревне Елисавете, заявлял надежды на ее восшествие на престол и к довершению же собственного несчастья поссорился с комендантом Нерчинска, своим непосредственным начальником. Результатом всего этого были донос, суд и пытки в Екатеринбурге и страшный розыск в Петербурге; завязалось толстейшее дело, продолжавшееся более года. Столетов, столь же малодушный в беде, сколь самонадеянный и заносчивый в счастии, оговорил знакомых, приятелей, приплел к делу родную сестру и зятя, являвших к нему во время ссылки чувства глубокой привязанности; клепал и на себя, то запирался, то приносил повинные не только в противных словах, когда-либо сказанных, но даже в мыслях, какие только зарождались в его голове и служили «к умалению чести ея императорскаго величества» Анны Ивановны.