Самое сильное переживание детства связано с трагической гибелью матери: ее сбила машина на глазах у сына (по разным сведениям, ему в то время было двенадцать или пятнадцать лет). Петр Яковлевич вспоминал, как в детстве любил сидеть рядом с матерью и распутывать нитки для вязания. Впоследствии он говорил о поисках нити Ариадны, когда предстояло найти ответ на вопрос о происхождении психологических явлений. Можно предположить, что Петр Яковлевич видел двойной смысл этого выражения, мысленно возвращаясь в далекие детские годы. После смерти матери в дом вошла сотрудница отца — операционная сестра Анна Ивановна, которая благодаря своей доброте смогла стать детям второй матерью.
Петр Яковлевич, по его воспоминаниям, много болел, точного диагноза поставить не могли, но предполагали туберкулез кишечника. Выздоровление наступило неожиданно и необъяснимо. Во время болезни он прочитал много книг по философии и психологии из отцовской библиотеки.
Отец был высокообразованным человеком, с уважением относился к знаниям. Достаточно привести такой пример: в течение двух лет в их семье жил профессор Столпнер, который, будучи почти слепым, первым перевел на русский язык Гегеля. Именно в те юношеские годы у Петра Яковлевича появилось желание найти метод, с помощью которого можно объективно исследовать человеческое мышление. Эту идею как путеводный принцип он сохранил в течение всей жизни.
Когда пришло время определиться в выборе профессии, а это были первые послереволюционные годы, отец посоветовал ему заняться медициной. С 1921 (по другим данным, с 1920) по 1926 г. Петр Яковлевич обучался в Харьковском медицинском институте и получил квалификацию врача-психоневролога.
Начиная с третьего курса Гальперин посещал неврологическую клинику профессора Платонова, который увлекался проблемами гипноза. Первая научная работа и первая публикация будущего ученого была посвящена влиянию гипноза на пищеварительные лейкоциты. В 1926 г. он начал работать в амбулаторном лечебном центре для наркоманов. Обследуя больных, он пришел к выводу, что в основе наркомании лежит нарушение процессов метаболизма, которые можно восстановить с помощью яда.
С 1928 г. Петр Яковлевич стал работать в психоневрологической лаборатории, которая так же, как и клиника наркомании, была частью Психоневрологического института. В 1930 г. он совместно с другими сотрудниками пытался объединить Психоневрологический институт с психиатрической клиникой, чтобы основать Всеукраинскую психоневрологическую академию. Хотя официальное учреждение академии так и не состоялось, она стала приглашать в Харьков специалистов из других городов. Именно с этого времени Петр Яковлевич вплотную занялся психологическими исследованиями. Вначале он работал с А. Р. Лурией, но в 1931 г. присоединился к харьковской психологической группе, возглавляемой А. Н. Леонтьевым. В состав группы входили Л. И. Божович, А. В. Запорожец, Н. А. Морозова, Р. Е. Левина, Л. С. Славина. Хотя Петр Яковлевич говорил о большом значении для него встречи с А. Н. Леонтьевым, можно предположить, что все эти люди, ставшие впоследствии известными психологами, а в то время просто влюбленные в психологию, оказывали сильное взаимное влияние друг на друга.