Интерес Бэбиджа к математике характеризует такой эпизод его учебы в школе: Чарльз будил своих товарищей по ночам и вместе с ними разбирал страницы учебника алгебры. Он считал эту книгу самой интересной. Ночные занятия математикой продолжались несколько месяцев, пока воспитатели не заметили их и не запретили.
Бэбидж с детского возраста проявлял интерес к различным механическим автоматам, которые были широко распространены в XVIII и в начале XIX вв. При получении каждой новой игрушки он неизменно спрашивал: «А что находится внутри ее?» Если ответ не удовлетворял ребенка, игрушка разламывалась на составные части. Чарльз и сам очень рано начал пытаться строить механические игрушки, что, кстати сказать, ему не всегда хорошо удавалось.
С возрастом он начинает конструировать уже не игрушки, а различные механизмы, которые пытается практически использовать. Так, в шестнадцать лет Чарльз построил механизм, при помощи которого предполагал ходить по воде. «Водоход» состоял из досок, скрепленных петлями. При подъеме ноги доски должны были подобно гусиным лапам складываться, а касаясь воды, распрямляться. Бэбидж считал, что при этом будет возникать отталкивающая сила, достаточная для того, чтобы человек мог идти по воде. Но испытания показали несостоятельность конструкции.
В 1810 г. девятнадцатилетний Бэбидж поступил в Тринити-колледж Кембриджского университета. В колледже, к своему удивлению, Ч. Бэбидж обнаружил, что он знает математику лучше своих сверстников. Иногда своими вопросами он ставил в тупик преподавателей.
Чарльз был общительным человеком и имел большой круг знакомых, среди которых были молодые люди с довольно разносторонними интересами: любители и математики, и шахмат, и верховой езды и т. п. Наиболее близкими его друзьями стали Джон Гершель (1792—1871), сын знаменитого астронома В. Гершеля, и Джордж Пикок (1791—1858). Друзья заключили соглашение «приложить все усилия, чтобы оставить мир мудрее, чем они нашли его».
В это время математика в Великобритании находилась в довольно критическом состоянии. Это был период интеллектуальной изоляции Англии в математике, который начал проявляться еще с середины XVIII в. Одной из причин такого состояния было преклонение перед научными заслугами И. Ньютона (1643—1727), что порождало шовинистические настроения среди ученых и пренебрежительное отношение к математическим достижениям континентальной Европы. В результате математику в Англии изучали плохо и она не пользовалась уважением. Студенты предпочитали заниматься юриспруденцией, медициной, богословием, но не математикой. Серьезные работы по математике появлялись редко.