С годами он описал это детство в мрачных красках: «Я, мое детство и конец Империи. Dies irae, dies ilia[10]…Я никогда не смог бы как следует понять мрачное однообразие Средневековья, ожидание без надежд, без желаний, за исключением разве что желания смерти… если бы так не изнывал ребенком в последние годы Империи… Какая сушь! Какая нищета!.. Иссякал ум, иссякали деньги, иссякала кровь… И все-таки надежда, в те мгновения, когда она в нем просыпалась, сметала все: «Я был богат — детством, воображением и, быть может, уже любовью — и никому не завидовал». Страдал он лишь из-за двух вещей: из-за своей неуклюжести, застенчивости и раздирающих его желаний. Один в своей мансарде (как Марсель Пруст), он предавался грезам и окружал себя в мечтах прекрасными любовницами.
В двенадцать лет от старого книготорговца, бывшего деревенского учителя, он узнал, что такое латынь и Революция. Понемногу Мишле начал читать книги: «Робинзона Крузо», «Историю Франции в стихах», Буало (из чего его семейство немедленно заключило, что он станет великим сатириком) и «Подражание Иисусу Христу». «Эти беседы между богом и больной душой, такой же, как моя собственная, глубоко волновали меня. Я забывал о настоящем, которое представлялось столь недолговечным, и помышлял лишь о будущем, том, которое сулит нам религия». Этот порыв был недолог. Мишле суждено было стать не столько католиком, сколько стоиком. Однако в своей «Истории» он пишет о «Подражании» с почтительностью и благодарностью. «Я повсюду искал покоя, — говорит автор «Подражания», — и не нашел его нигде, кроме как в углу с книгой в руках».
После смерти матери Мишле отец стал управляющим частной лечебницей. Сам Мишле, после недолгого пребывания в пансионе Мело, поступил в коллеж Карла Великого. В лечебнице, где работал отец, он познакомился с госпожой Фурси, которой суждено было сыграть в биографии Мишле ту же роль (правда, по-видимому, лишь в духовном плане), что и госпоже де Берни в биографии Бальзака — роль доброй и опытной женщины, которая учит жизни подростка. В пансионе Мело он встретил друга, Пуансо, сделавшегося для него тем же, чем был Ла Боэси для Монтеня. Мальчики стали неразлучны. Мысли обоих прочно занимали женщины, и они часто вдвоем прогуливались по окраинам города, давая волю своему воображению. «Что это было за зрелище — наши детские восторги перед женщинами, наши рассуждения об их красоте и цитаты, которыми все это было приправлено! Но не будем, однако, осмеивать то, что было в действительности сладостно и волнительно… Низкий разврат с продажными женщинами, я думаю, оттолкнул бы нас. Мы были целомудренными проказниками».