Ян Борисович Гамарник родился в 1894 г. в г. Житомире в семье служащего. Еврей. Учился в Петербургском психоневрологическом институте и Киевском университете.
Член партии с сентября 1916 г.
До октября 1917 г. член и секретарь Киевского комитета РСДРП(б). В марте 1918 г. избран в ЦИК Советов Украины.
Являлся членом Оргбюро по подготовке 1–го съезда КП(б)У.
В период германской оккупации и захвата Украины буржуазными националистами был членом подпольного Всеукраинского центра, одним из руководителей Одесской, Харьковского и Крымской подпольных партийных организаций, вел работу по развертыванию партизанского движения и разложению войск противника. В конце 1918 г. — начале 1919 г. член Харьковского ревкома, председатель Одесского губкома КП(б)У. Затем член Реввоен совета южной группы войск. 12–й армии, комиссар 58–й стрелковой дивизии. В 1920—1923 гг. председатель Одесского и Киевского губкомов, председатель Киевского губревкома и губисполкома.
В 1923—1928 гг. председатель Приморского губисполкома.
Дальревкома, Дальневосточного крайисполкома, секретарь.
Далькрайкома ВКП(б) и член Реввоенсовета Сибирского военного округа. С конца 1928 г. первый секретарь ЦК КП(б) Белоруссии и член Реввоенсовета Белорусского военного округа.
С октября 1929 г. начальник Политуправления Красной Армии и член Реввоенсовета СССР, ответственный редактор газеты «Красная Звезда». С июня 1930 г. одновременно заместитель председателя Реввоенсовета СССР и заместитель наркома по военным и морским делам, первый заместитель наркома обороны, член Военного совета при наркоме обороны СССР. 13 марта 1937 г. назначен уполномоченным Наркомата обороны при Совнаркоме РСФСР по вопросам оборонной работы. 20 мая 1937 г. утвержден членом Военного совета Среднеазиатского военного округа.
На XIV съезде партии был избран кандидатом в члены ЦК ВКП(б), на XV–XVII съездах членом ЦК ВКП(б), с ноября 1929 г. член Оргбюро ЦК ВКП(б). Награжден орденами Ленина и Красного Знамени. В 1935 г. ему было присвоено воинское звание армейского комиссара 1–го ранга.
30 мая 1937 г. Политбюро ЦК ВКП(б) приняло решение отстранить Я. Б. Гамарника от работы в Наркомате обороны СССР и вывести из состава Военного совета при наркоме обороны СССР за связь с участниками так называемой «антисоветской троцкистской военной организации ». 31 мая 1937 г. покончил жизнь самоубийством.