Родители его были польскими евреями, приехавшими в Америку в начале века. Отец, Джозеф Рубинштейн, отслужил в русской армии артиллеристом. Профессия — плотник. Сильно пил. Мать после 35 лет жизни в Америке ставила вместо подписи крест. У них было восемь детей. Джек был пятым. Драки и свары не прекращались в доме, отца много раз арестовывали за дебоши. Дети росли шпаной, часто попадали в дома для трудновоспитуемых.
Джек был второгодником, хулиганом, пропускал занятия, доучился до шестого класса, оставил школу и продолжал свое образование на улицах ночного Чикаго. Приторговывал чем только можно, дрался, спекулировал билетами на спортивные зрелища. Одно время зарабатывал тем, что в компании других подростков доставлял запечатанные конверты по поручению Аль Капоне (по доллару за доставку). В тюрьму попал только один раз и то не надолго. В 1933 году уехал в Сан-Франциско, где к нему вскоре присоединилась старшая сестра Ева. Постоянной работы не имел никогда. Сексом во всех возможных вариациях интересовался с ранних лет.
По возвращении в Чикаго в 1937-ом он пристроился к только что образованному профсоюзу сборщиков металлолома и мусорщиков. Есть сообщения, что для пущей убедительности при организации собраний он мог извлечь пистолет. Его приятель, основавший профсоюз, Леон Кук, был застрелен в 1939 году председателем — выдвиженцем мафии. Убийца заявил, что действовал в целях самозащиты, и суд оправдал его, несмотря на то что пули попали его жертве в спину. Вскоре профсоюзом овладел гангстер Поль Дорфман, будущий соратник крупнейшего профсоюзного бандита Джимми Хоффа.
В период с 1940 по 1947 Руби снова приторговывал по мелочам, отслужил в армии на территории США, пытался вести дело вместе с братьями, но все четверо вскоре переругались, и бизнес распался. Наконец, в 1947 он появляется в Техасе.
Однако за несколько месяцев до него более крупный представитель преступного мира удостоил Даллас своим посещением. Поль Роуланд Джонс, осужденный в свое время в Канзасе за убийство свидетеля, обратился к новоизбранному шерифу Стиву Гутри и предложил выплачивать ему по 150 тысяч долларов в год, если он позволит чикагской мафии захватить контроль над игорным бизнесом и проституцией в Далласе. Для прикрытия операций «синдиката» (одно из наименований мафии в Америке) планировалось открыть шикарный ресторан на углу Коммерс-стрит и Индастриал, управлять которым должен был свой человек из Чикаго — Джек Руби. Поль Джонс, кстати, был близким другом сестры Джека — Евы — и постоянным посетителем ее ночного заведения «Сингапур-Супер-Клаб».