В 1839 году первого числа я поступил в Гардемаринскую роту младшим чином, будучи за кадетство выпорот только два раза. В этой роте уже не пороли розгами. Мне было тогда четырнадцать с половиной лет. Ростом я был велик и такой же был отчаянной веселости. Любил кататься по галереям колесом, любил разные ломанья, скачки, в чем упражнялся с любителями этого дела Васькой Греве и Бреверном. Бывало, опуститься по водосточной трубе на нижнюю галерею Сахарного двора ничего не значило, отчего постоянно ходил оборванным и часто избитым, ибо и до драк был неглуп. Силы тогда у меня много не было, но была ловкость броситься прямо в ноги сильнейшему, сбить его с ног и живо надавать лежащему оплеух и тумаков было делом пяти секунд. Здесь у меня было много невзгод с начальством и раза два меня едва не выгнали из Корпуса. Но раз спас мой дядя Афанасий Радищев, а другой раз — брат мой Николай Петрович, который уже был мичманом в офицерском классе и, будучи уважаем и любим директором Крузенштерном, меня отстоял.
Так как я имел при выпуске два нуля с минусом за поведение, что было ниже единицы, это ясно показывало, что моя резвость мне сильно портила в виду начальства. Подлого и безнравственного я никогда ничего не делал, но, так как был на дурном счету, всякая пакость, произошедшая в роте, рушилась на меня и я становился ответчиком…
Летом назначили нас в плаванье на Большую эскадру, то есть на корабли для похода в Балтику. Младшим гардемарином я попал на корабль «Прохор». Им командовал капитан первого ранга Захар Захарьевич Балк (или «Сахар Сахарович»)».
Историк флота Д.Н. Федоров-Уайт в своей работе «Русские флотские офицеры начала XIX века» писал: «В 1794 году… порядок жизни и образ обучения резко изменился. Вместо зазубривания наизусть Евклидовых стихов в течении трех лет, стали преподавать математику по курсу Безу, начиная с арифметики, а не с геометрии, как раньше. Штейнгель говорит, что он был в числе первых обучавшихся по новой методе. Его учителем был некто Романов, «знающий свое дело и прилежный». Кроме математики учили еще грамматике, истории, географии, рисованию, но «кое-как, заставляли твердить наизусть то, что не понимал».
В гардемарины производили иногда совсем юных детей. Штейнгель был произведен в двенадцать лет. Гардемарин назначали по желанию на флот, и те кто пошли в эскадре адмирала Ханыкова в Англию, были произведены в мичманы на следующий год.
Гардемарины ходили летом в плавание до Ревеля, а оттуда крейсировали понедельно в целях обучения. В гардемаринских классах учили навигации и астрономии. Преподавателем Штейнгеля был человек с гоголевской фамилией Балаболкина, передразнивая которого, гардемарины кричали: «Вот, вот, истинный курс корабля!» Кроме судоводительских наук, гардемаринам преподавали также артиллерию и фортификацию. В отношении артиллерии обучение сводилось к копированию чертежа устаревшей образца пушки, а по фортификации заставляли зазубривать терминологию. Обучению иностранным языкам, по-видимому, придавалось в то время большое значение. Из старших гардемарин часть производилась в урядники-сержанты и унтер-офицеры, причем при производстве принимались отметки по проходимым наукам.