Первый опытный Ки-21 полетел 18 декабря 1936 г - через 10 месяцев после получения заказа. Второй самолет был закончен в течение того же месяца. Последний отличался удлиненной "беседкой" стрелка вместо полусферической башни, так как продувка в аэродинамической трубе показывала большее воздушное сопротивление последней. После заводских испытаний в марте 1937 г оба самолета были переведены на авиабазу ВВС в Тачикаве для проведения конкурсных испытаний с двумя самолетами Накадзимы Ки-19.
Внешне Ки-19 был очень похож на конкурента и имел те же размеры, но на нем были установлены двигатели Ха-5 (Святая звезда). Соревнования продолжались в течение апреля - мая и закончились в июне испытаниями на бомбометание в Хамамацу. Оба конкурсанта показали близкие результаты. Ки-19 показал лучшую точность бомбометания и хорошую управляемость. Зато Ки-21 имел меньшую нагрузку на крыло и лучшие летные характеристики.
Согласия о победителе конкурса не было, хотя большинство склонялись в пользу бомбардировщика Мицубиси. Тогда армейские испытатели предложили продолжить конкурс с участием модернизированных прототипов, которые фирмы должны были представить с изменениями в конструкции, учтя накопленный опыт. Кроме того, предполагалась смена двигателей - на Ки- 21 ставились Ха-5, а на Ки-19 - Ха-6. Конструкторы
Мицубиси Озава и Наката внесли еще некоторые изменения в конструкцию бомбардировщика. Так испытатели указали на большее удобство удлиненной, остекленной носовой части с шаровой пулеметной установкой на Ки-19. В результате массивная носовая башня на Ки-21 была заменена на носовую часть по образцу бомбардировщика Накадзимы. Верхняя пулеметная "беседка" была продолжена вперед. Уступ в нижней части фюзеляжа был устранен, оперение было незначительно изменено. В результате удовлетворительной стала устойчивость бомбардировщика, особенно в момент сброса бомб.
Когда испытания в Тачикаве вновь продолжились осенью 1937 г, обновленный Ки-21 показал полное превосходство над своим конкурентом. В ноябре 1937 г армия передала контракт фирме Мицубиси. Самолет получил обозначение "тип 97" - "тяжелый бомбардировщик армейский тип 97 модель 1А" (Ки-21-Ia). Кроме двух прототипов Ки-21 с двигателями Ха-5 для повторных испытаний на 5-м авиационном заводе были заложены еще 4 предсерийных самолета. Так высока была уверенность фирмы в получении контракта! Эти самолеты довольно быстро поступили на испытания оборудования и вооружения. Первый из них, поставленный еще до конца 1937 г, использовался для испытания оборонительного вооружения. В частности, проводились испытания вновь установленного "жала" - кинжальной, дистанционно управляемой установки под 7,7-мм пулемет в хвостовой части фюзеляжа. Были установлены и боковые пулеметы. Этот вариант вооружения был использован на более поздних сериях бомбардировщика.