Маршал Ней начал бой примерно в два часа пополудни. В тот момент в его распоряжении было около 16 тыс. человек пехоты, 2 тыс. кавалерии и 38 орудий. Номинально численность армии, которой Наполеон поручил ему командовать, превышала 40 тыс. солдат. Но более половины из них входила в состав первого армейского корпуса графа Эрлона. Ней был лишен этих войск как раз в тот момент, когда он в них наиболее остро нуждался, так как Эрлон получил приказ отправиться на помощь императору в Линьи. Во время боя при Катр-Бра к войскам Нея присоединился корпус прекрасно обученной тяжелой кавалерии под командованием Келлермана. Но численность французской пехоты на этом участке так и не превысила 16 тыс. человек.
В момент начала сражения значительная часть армии Веллингтона все еще находилась на марше из Брюсселя и других участков в Катр-Бра. В тот момент французам здесь противостояли по одной голландской и бельгийской дивизии общей численностью примерно 7 тыс. человек при поддержке артиллерии. Этими войсками командовал принц Оранский. На правом фланге (с запада) войска союзников оказались зажаты в лесистой местности под названием Буа-де-Боссю. В центре перед ними возвышались фермы и другие строения селения Жемианкур, а слева (на востоке) находился поселок Пьермон. Принц Оранский предпринял попытку захватить эти пункты, но Ней уже успел сам занять Жемианкур в центре и Пьермон на востоке, а также овладеть южной частью леса Боссю. Большую часть своей артиллерии французы сосредоточили на возвышенности у Жемианкура, и в течение всего боя она сильно опустошала ряды армии союзников. Ней был готов продолжать наступление, когда на поле боя прибыли 5-я пехотная дивизия под командованием Томаса Пиктона и корпус герцога Брауншвейгского. Веллингтон (который вернулся в Катр-Бра с совещания с Блюхером незадолго до прибытия этих сил) сразу же бросил их в бой. Свежие силы союзников попытались остановить яростные атаки пехоты и кавалерии Нея, которые продолжали неустрашимо идти вперед. Единственной незначительной силой кавалерии, которая была в распоряжении английской армии, был небольшой отряд брауншвейгцев под командованием самого герцога, который вскоре погиб в бою. Они не могли достойно противостоять кирасирам Келлермана и уланам Пире. Голландцы и бельгийцы тоже вскоре начали отступать. Таким образом, вся тяжесть боя легла на плечи английской и немецкой пехоты. Она с честью выдержала испытание. Несмотря на непрекращающиеся атаки французской кавалерии и убийственный огонь артиллерии противника, снаряды которой с высот у Жемианкура буквально сметали все с участков, откуда приходилось отступать французским всадникам, пехота союзников не только отбила атаки неприятеля. Бригады Кемпта и Пака под командованием Пиктона пошли в контратаку. Благодаря самоотверженности этих солдат к концу дня союзникам удалось восстановить положение и сохранить за собой позиции, которые они так храбро обороняли. Однако некоторые британские полки во время внезапных кавалерийских атак французов не успели построиться в каре и понесли тяжелые потери. Например, 92-й полк был почти полностью уничтожен кирасирами Келлермана. Французский рядовой солдат 8-го полка кирасир по имени Лами сумел захватить знамя одного из британских полков, которое он доставил Нею. Это был ценный трофей. Прибытие примерно в половине седьмого английской гвардии позволило Веллингтону отбить лес Боссю, который к тому времени почти полностью перешел в руки французов. Это было значительным успехом, так как контроль над этим участком давал возможность войскам Нея нанести удар во фланг и тыл союзникам. Англичане отвоевали не только этот участок на правом фланге, но и окрестности Пьермона на левом. С наступлением темноты французы повсюду отошли назад к Франу. Но за ними все еще оставался участок с фермой у Жемианкура в центре. Ни Веллингтон, ни Мюфлинг не знали результатов боя между армиями Наполеона и Блюхера, звуки которого были хорошо слышны у Катр-Бра весь день и вечер. Герцог заявил Мюфлингу, что утром две союзные армии конечно же продолжат наступление на противника. Поэтому было бы желательно немедленно захватить ферму, не откладывая это на утро. Мюфлинг согласился с Веллингтоном. Вскоре Жемианкур был атакован и захвачен союзниками, потери которых при этом были незначительными.