9 февраля 1903 года, когда Герберту было тринадцать лет, его мать умерла от сердечного приступа. На некоторое время Герберт превратился в школьного хулигана. Его выходки не раз становились предметом разбирательства в кабинете директора школы. Но в какой-то момент Герберт одумался и сумел побороть свое непослушание. Он стал посещать церковь и увлекся покером.
В 1903 году Уортингтоне было семь покерных салонов. Герберт влюбился в покер с первого взгляда. Он упорно тренировался дома. Потом Герберт сумел подружиться с владельцем одного из покерных салонов, и тот стал учить Герберта премудростям игры. Один из уроков он запомнил на всю жизнь: «Я оцениваю шансы каждой карты, которая мне достается, и если они невысоки, то я сворачиваю игру. Это звучит не слишком по-товарищески. Но о каком товариществе может идти речь в покере?».
Когда Герберту исполнилось шестнадцать лет, он, накопив немного денег, занялся профессиональной игрой в покер. На его глазах игроки ставили на кон все свое имущество в надежде сорвать куш. Однажды Ярдли видел, как продавец обуви проиграл в покер девять чемоданов с товаром, и как плантатор умер за покерным столом от разрыва сердца, не пережив напряжения игры.
Одновременно с покером Ярдли учился жизни. В покерном салоне он знакомился с разными людьми – коммивояжерами, цирковыми артистами, фокусниками, актерами и проповедниками, а также местными бизнесменами, банкирами, фермерами, политиками и городскими сумасшедшими. Они делились с Ярдли богатым жизненным опытом, помогая ему узнавать о жизни почти все.
Интересы Ярдли не ограничивались покером. Он был избран поверенным в делах городского литературного общества. Ярдли пел в любительском вокальном квартете и играл в драмкружке.
Летом 1907 года Ярдли забрал все свои сбережения и уехал из Уортингтона в Денвер. Сбережения закончились еще по дороге, и в Денвере Ярдли приходилось браться за любую работу, чтобы добыть деньги на ночлег и пропитание. Вскоре он был вынужден вернуться в Уортингтон, где устроился в железнодорожное депо разнорабочим. Отец научил Герберта телеграфии. Это позволило ему поступить на службу телеграфистом. Обязанности Ярдли состояли в отправке распоряжений железнодорожного диспетчера и получении подтверждений об их приеме. От Ярдли требовались знание телеграфного кода, общая грамотность, а также знакомство с терминологическими сокращениями и используемыми кодами. Например, число семьдесят три в телеграмме означало наилучшие пожелания ее получателю. Ярдли успел поработать в различных железнодорожных депо по всему штату Индиана, прежде чем в 1912 году сдал правительственный экзамен на телеграфиста и получил работу в Вашингтоне.