Та, которую он считал впоследствии своей матерью, редко появлялась у его колыбели. Зато императрица Елизавета навещала младенца раза два в сутки, иногда вставала с постели ночью и приходила смотреть будущего императора. Подрастая, он привык к женщинам — к фрейлинам, к нянькам — и боялся мужчин. В 1760 году, когда Павлу не было и шести лет, Елизавета Петровна назначила камергера Никиту Ивановича Панина обер-гофмейстером при Павле. Панину было тогда сорок два года. Он почему-то казался маленькому цесаревичу угрюмым и страшным стариком. Его парик и голубой кафтан с желтыми бархатными обшлагами внушали ребенку непонятное отвращение. Он встретил своего воспитателя слезами, полагая, что теперь у него отнимут мамушек и все "веселости". Впрочем, он скоро должен был получить новые впечатления, которые заинтересовали его не менее, чем игры с няньками. Он присутствовал на спектакле, где французские актеры декламировали пышные монологи и где юные девицы танцевали прелестно, восхищая зрителей. Когда ему минуло шесть лет, иностранные посланники представлялись ему торжественно. Это было немного страшно, но он уже чувствовал, что его судьба необычайна, что он предназначен быть повелителем.
Но будущему императору надо было учиться. Грамоте его стали учить уже в 1758 году и тогда же надели на него модный кафтанчик и парик, который одна из нянь заботливо окропила святой водой.
Странный страх всегда сопутствовал Павлу с младенческих лет. Ему постоянно мерещилась какая-то опасность. Хлопнет где-нибудь дверь — он лезет под стол, дрожа; войдет неожиданно Панин — надо спрятаться в угол; за обедом то и дело слезы, потому что дежурные кавалеры не очень-то с ним нежны, а мамушек и нянюшек нет: их удалили, ибо они рассказывают сказки, поют старинные песни и вообще суеверны, а цесаревич должен воспитываться разумно. Ведь то был век Вольтера и Фридриха Великого. Тогда еще Павел не увлекался коронованным прусским вольнодумцем, и ему были милы сказки про бабу-ягу. Впрочем, это не мешало мальчику обнаруживать способности к наукам и остроумие. Однажды после урока истории, когда преподаватель перечислил до тридцати дурных государей, Павел крепко задумался. В это время от императрицы принесли пять арбузов. Из них только один оказался хорошим. Тогда цесаревич сказал: "Вот из пяти арбузов хоть один оказался хорошим, а из тридцати государей ни одного!"
Императрица Елизавета умерла в 1761 году, когда Павлу было семь лет. Петр Федорович по своему легкомыслию не мог заняться воспитанием маленького Павла. Впрочем, однажды голштинские родственники принудили его посетить какой-то урок цесаревича. Уходя, он сказал громко: "Я вижу, этот плутишка знает предметы лучше нас". В знак своего благоволения он тут же пожаловал Павла званием капрала гвардии.