Срок отбывал во Владимирской и Николаевской каторжных тюрьмах. Оттуда пытался совершить побег, но неудачно. Каждый раз в наказание бросали в сырое подземелье, затачивали в каменный мешок, где можно было разве что присесть на корточки. Темнота, молчание, да поблизости шуршание голодных крыс.
Семь с половиной лет, звеня кандалами, пробыл Фрунзе на изнурительных каторжных работах, в тюрьмах. В сентябре 1914 года его загнали на вечное поселение в Сибирь. По пути он организовал голодовку политзаключенных в Иркутской каторжной тюрьме, куда его доставили перед отправкой под конвоем в село Манзурка Верхоленского уезда Иркутской губернии.
В отличие от Сталина, который, по рассказам очевидцев, вел себя в сибирской ссылке весьма пассивно, сторонился товарищей, предпочитал коротать время в одиночестве, был неопрятен в быту (после обеда не мыл посуду: зачем, дашь собаке, она оближет черпак, вот он и чистый), Фрунзе был душой ссыльных. Сталин в своих Курейках замкнулся в себе, жил почти в совершенном одиночестве, прекратил личные отношения с большинством ссыльных и избегал их. Вскоре из-за неуживчивости кавказца туруханский поселок Курейки покинул Свердлов, за ним добились перевода еще два большевика, Голощекин и Медведев. Желчный, грубый, снедаемый честолюбием Сталин был нелегким соседом.
Иное дело Фрунзе. Открытый, искренний, энергичный, он был центром притяжения всех ссыльных. Располагая большим количеством свободного времени, он стремился использовать его в нужных целях. Под видом столярной мастерской, в которой работало десять — двенадцать поселенцев, каждый обучал товарищей тому, в чем он сам был наиболее силен. Фрунзе вел в этой замаскированной «академии» три предмета: английский язык, экономическую статистику и военное дело. Пенилась стружка под рубанками и фуганками, пахло столярным клеем, свежим смолистым деревом. На гладко выструганные доски наносили формулы, уравнения, схемы военных оперативных задач. Как только поблизости появлялось подозрительное лицо, формулы и чертежи под быстрыми взмахами рубанка летели в виде стружек на пол.
И все же не убереглись от недоброго ока. И хотя в тот день разбирали Бородинское сражение и сопоставляли его данные с событиями Первой мировой войны, рапорт о том, что Фрунзе с товарищами готовит военный заговор, попал на стол иркутского генерал-губернатора. Последовал приказ арестовать злоумышленников и доставить в Иркутск. По дороге к страшным, могильным сводам тюрьмы Фрунзе бежал. Через неделю он объявился в забайкальском городе Чите с паспортом на чужое имя. Подпольный комитет партии устроил его агентом-статистиком в переселенческое управление — пригодились-таки знания, добытые в Манзурке! Теплое участие в судьбе беглеца принял ссыльнопоселенец Колтановский. Его приемная дочь Софья Алексеевна впоследствии стала женой Фрунзе.