Вся жизнь старого Яна Кюзиса прошла в жестокой борьбе за кусок хлеба. Он не желал с этим мириться: пусть хоть дети будут грамотными; может, им повезет в жизни и они вырвутся из кабалы! Петер стал ходить в сельскую школу. От дома до школы — много верст. И все-таки, несмотря на все трудности, мальчик успешно окончил школу, а в 1902 году поступил в учительскую семинарию в городе Гольдингене. Вот как сам Берзин рассказывает о годах, проведенных в семинарии:
«Прибалтийская учительская семинария, директором которой в то время был Ф. Страхович, известный по всей Прибалтике реакционер-черносотенец, славилась своим казарменным режимом и реакционным составом преподавателей. Страхович ввел в семинарии систему пропусков на выход со двора, организовал среди учащихся целую сеть доносчиков, жестоко расправлялся с непокорными, осмелившимися критиковать порядки в семинарии. Протест учащихся вылился в «бунт»…»
В семинарии Петер увлекся идеями великого педагога Песталоцци. Потрепанная книжечка «Как Гертруда учит своих детей» наводила на размышления. Песталоцци стремился облегчить народу изучение основ всех наук и искусств, «открыть заброшенным, обреченным на одичание способностям бедных и слабых доступ к искусству, которое в то же время есть доступ к человечеству». Петер мечтал о педагогической деятельности. Но в его характере была черта: не допускать разрыва между словом и делом. Узнав, что Песталоцци принял от русского царя Александра I награду — орден Владимира, Петер сразу же утратил интерес к великому педагогу и его учению. Человек должен быть последовательным, не вилять из стороны в сторону.
Окончить учительскую семинарию не удалось. В 1904 году Петер вошел в ученический кружок, связанный с социал-демократической организацией, принял активное участие в выступлении семинаристов против реакционных преподавателей и директора Страховича.
Теперь родители Петера батрачили уже у другого хозяина, в Юргенсбурге. Старший брат Ян Янович работал столяром у подрядчика по постройкам. В мастерской существовал социал-демократический кружок. Старший брат приносил домой нелегальную литературу, а Петер распространял ее среди молодежи.
В самый разгар революции 1905 года социал-демократический кружок организовал крупную забастовку сельских рабочих. Красные знамена, митинги. Известный боевик «Стенька» (Лепинь) призвал крестьян организованно выступить против угнетателей — баронов и царского самодержавия. Напуганные помещики потребовали у властей для своей охраны казаков. Вскоре казаки небольшими отрядами по пятнадцать — двадцать человек были расквартированы по всем помещичьим имениям.