Ки-21 был двухмоторным цельнометаллическим свободнонесущим монопланом полумонококовой конструкции с работающей обшивкой. Самолет был создан в ответ на требования воздушного штаба к авиационной промышленности от 15 февраля 1936 г. Эти требования были чрезвычайно высокими -от авиационной промышленности требовалось создание нескольких самолетов, отвечающих международным стандартам. Верховное командование придерживалось в то время принципа "теоретического врага" - Советского Союза. В результате эти требования относились и к бомбардировщику, способному наносить удары по отдаленным объектам на территории Советского Союза с японских баз в Маньчжурии. Рост советской военной мощи на Дальнем Востоке рассматривался как прямая угроза Японии, а СССР - принципиальным "потенциальным противником". С укреплением советской авиации и с расширением японской агрессии на Дальнем Востоке становилась очевидной неспособность японской армейской авиации удержать превосходство в воздухе и обеспечить наступательные операции в глубь территории "противника". Решению этой проблемы уделялось большое внимание, а новый бомбардировщик рассматривался как необходимое условие.
Спецификации определяли максимальную скорость в 400 км/ч на высоте 3000 м, которую самолет должен был набирать с полной нагрузкой за 8 минут. Продолжительность полета при скорости в 300 км/ч определялась в 5 часов. Взлетная дистанция должна была быть 300 м. Экипаж определялся в четыре человека, а оборонительное вооружение составляли три 7,7-мм пулемета на подвижных установках. Бомбовая нагрузка должна была бы быть 750 кг, а при уменьшенной дальности полета - 1000 кг.
Обуславливалась возможность установки двигателей Накадзимы Ха-5 мощностью в 850 л. с. или Мицубиси Ха-6 в 825 л. с. - оба 14-цилиндровые "звезды" воздушного охлаждения. Специально оговаривалась возможность эксплуатировать самолет при низких температурах в условиях Сибири.
В конкурсе также участвовали фирмы Накадзима и Кавасаки, которые предложили Ки-19 и Ки-22 соответственно. Воздушный штаб сразу отклонил вариант Кавасаки, а фирмам Мицубиси и Накадзима были заказаны прототипы для конкурсных испытаний. К проектированию Ки-21 были привлечены два самых опытных инженера фирмы Кюнодзо Озава и Наката. Проект имел наивысший приоритет, и работа на заводе N 5 в Нагое продвигалась очень быстро.
Ки-21 получился элегантным среднепланом с двигателями Ха-6 "Кинсей" (Золотая звезда) с трехлопостными винтами изменяемого шага "Гамильтон Стандарт". Трехлонжеронное крыло имело работающую обшивку из легкого сплава и было разделено на три секции. Элероны были из легкого сплава с тканевой обшивкой. Гидравлически выпускаемые закрылки - цельнометаллические. Фюзеляж-полумонокок с работающей обшивкой имел овальное сечение. Бомбоотсек размещался под лонжеронами центроплана, а над ними размещались два бензобака, сдвинутые к левому борту (справа был проход в хвостовую часть). Оперение имело металлическую конструкцию с полотняной обшивкой. Первый и второй пилот-штурман располагались рядом, бомбардир имел место в носовой части, стрелок-радист - в хвосте. Оборонительное вооружение составляли три 7,7-мм пулемета Тип-89. Один был в носовой башне с углами обстрела только в вертикальной плоскости, второй был в задней башне, а третий в нижнем люке. Шасси убирались и выпускались гидравлически.