Но самая известная дуэль с участием Мусаси состоялась в 1612 году, когда он находился в городе Огура в провинции Бундзэн. Его противником был Сасаки Кодзиро, молодой воин, создавший сильную фехтовальную технику цубамэ-гаэси («ласточкин заслон»), моделью для которой послужило движение хвоста ласточки в полете. Кодзиро был слугой господина провинции Хосокава Тадаоки (этот примерный самурай своего времени послужил прототипом вероломного Бунтаро в романе Джеймса Клавелла «Сёгун»). С помощью другого слуги, которого звали Нагаока Сато Окинага и который в свое время был учеником отца Мусаси, господину Тадаоки было подано прошение разрешить поединок Кодзиро и Мусаси. Тадаоки удовлетворил прошение и назначил поединок на восемь часов утра следующего дня. Местом поединка должен был стать небольшой остров, находящийся в нескольких милях от Огура.
Накануне поединка Мусаси покинул свое временное жилище и переехал в дом Кабаяси Таро Дзаэмона. По городу распространились слухи, что Мусаси боится утонченной техники Кодзиро и собирается бежать из города. На следующий день в восемь часов Мусаси спал так крепко, что хозяин дома не мог его разбудить, пока не пришли официальные представители от господ, собравшихся на острове. Тогда Мусаси встал, выпил воду, которую ему принесли, чтобы он умылся, отправился прямо на берег и сел в лодку. Сато Окинага, работая веслами, направил лодку в сторону острова. Тем временем Мусаси, подвязав рукава кимоно бумажными веревочками, принялся вырезать деревянный меч из запасного весла, которое было в лодке. Закончив вырезать меч, он улегся на дне лодки, чтобы отдохнуть.
Когда лодка приблизилась к берегу, Кодзиро и почтенные господа, собравшиеся, чтобы наблюдать поединок, были удивлены тем, что они увидели. Непричесанный, с полотенцем, повязанным вокруг головы, и длинным веслом в руках, Мусаси спрыгнул в воду и бросился к месту поединка. Кодзиро обнажил свой длинный меч, изготовленный прославленным мастером Нагамицу, и отбросил в сторону ножны. «Ты прав, ножны тебе больше не понадобятся!» – выкрикнул Мусаси, налетая на противника со своим веслом. Кодзиро вынужден был нанести удар первым, но Мусаси одним движением отразил меч и ударил его по голове. Падая, Кодзиро напоролся на собственный меч и скончался. Увидев, что поединок закончен, Мусаси поклонился собравшимся и сразу же побежал обратно к лодке. В некоторых вариантах истории говорится, что когда Кодзиро упал, Мусаси попятился, бросил весло, выхватил оба своих меча и с криками ликования принялся размахивать ими в воздухе.