Свои первые годы мальчик провел в крепости, где служил дед. Современники вспоминали, что Миша был стройным, живым, высоким для своих лет мальчиком. Когда его однажды для христосования подняли за оба уха, ему на глаза навернулись слезы и он крикнул «больно», но после этого не проронил ни звука и, продолжая смеяться, стал рассказывать о новой военной награде отца. В этом эпизоде уже проявились некоторые черты характера взрослого Скобелева: сила воли и мечты о военной славе и отличиях. Чтение его началось с сочинений деда: «Беседа русского инвалида», «Приказы», пьесы, «Письма из Бородина от безрукого к безногому инвалиду» и «Переписка и рассказы русского инвалида». Формуляр деда восхищал мальчишку. Дедовский Георгиевский крест он носил вместе с нательным под рубашкой, пока не получил свой.
О своем детстве и воспитании первых лет Скобелев нередко рассказывал друзьям и знакомым, сохранившим эти рассказы в своих воспоминаниях. Он очень любил и уважал мать, умную, волевую и энергичную женщину. От нее у него не было секретов, с ней — и только с ней — он был вполне откровенен, она знала не только его мечты и планы, но и всю его интимную жизнь. Такими отношения между матерью и сыном остались до конца, вплоть до трагической смерти Ольги Николаевны в 1880 г. Иными были отношения с отцом. Дмитрий Иванович любил сына и по-своему заботился о нем. Но он был слишком формален и суров, чтобы вызвать в сыне те чувства, какие тот питал к матери. Да он и не добивался этого. В те времена отцы были для детей довольно строгим начальством, даже ласка считалась тогда слабостью, которая могла только повредить воспитанию.
Домашнее воспитание дворянских детей обычно поручалось гувернерам-иностранцам, большей частью немцам. Хотя в середине прошлого века уже вывелись такие анекдотические воспитатели, как описанный Д.И.Фонвизиным Вральман или мосье Бопре из «Капитанской дочки» Пушкина, все же и тогда гувернеры нередко сильно смахивали на этот классический тип. Дмитрий Иванович, желая воспитать сына в строгости, нанял гувернера-немца и дал ему неограниченную власть над мальчиком. Гувернер оказался грубым, тупым и подлым. Он бил Скобелева прутом за плохо выученный урок, за всякий пустяк. Независимый с детства, пылкий, подвижный ребенок возненавидел своего мучителя и мстил ему чем мог. Гувернер за кем-то ухаживал и, отправляясь с визитом, надевал фрак, цилиндр и новые перчатки. Скобелев мазал ручку двери ваксой, и гувернер пачкал свои перчатки. Ненависть к нему Скобелева была такова, что он, стиснув зубы, молчал под ударами, не желая ни криком, ни стоном выдать свою боль. В его характере появились скрытность и мстительность. Неизвестно, чем закончилось бы это воспитание, если бы не произошел случай, который положил ему конец. Скобелев был детски влюблен в девочку своего возраста и катался с ней верхом. Однажды в ее присутствии гувернер грубо выбранил Скобелева, тот что-то ответил, и гувернер ударил его по лицу. Взбешенный Скобелев, до тех пор мстивший только исподтишка, не стерпел унижения, плюнул немцу в лицо и ответил на удар пощечиной. Не ожидавший такой развязки, гувернер побежал жаловаться.