С VII века все население Японии было разделено на две социальные группы: рёомин («добрые люди») и сэммин («подлые люди»). К первой категории относились чиновники разных рангов, крестьяне и ремесленники. Чиновничий аппарат, как уже было сказано выше, был устроен на основе сложной иерархической системы китайского типа. Чем выше был ранг чиновника, тем большими привилегиями он был наделен. Но чиновники составляли лишь небольшой процент от общего числа населения. Больше всего в средневековой Японии было крестьян. Государство наделяло их участками земли. Помимо занятий земледелием, разведением скота, домашними ремеслами, крестьяне были заняты на строительстве дорог, системы орошения, крепостных сооружений. Налоги государству они платили рисом и изделиями своего домашнего производства. Ремесленники, жившие в городах, также имели маленькие участки земли, чтобы иметь возможность прокормить семью. А государственную повинность они исполняли, занимаясь каждый своим ремеслом.
Ко второй социальной группе — сэммин относили людей, совершивших преступления, а также государственных и частных рабов. Ни к одному из названных сословий не относились неприкасаемые, занимавшиеся убоем скота, обработкой кожи, то есть нечистыми занятиями, несовместимыми с буддизмом. Эти люди всегда жили обособленно, но даже им выделялись клочки земли, чтобы они не умерли с голода.
Японскому императору непросто было удерживать под своим контролем все области страны, состоящей из множества крупных и мелких островов. Его непосредственная власть распространялась главным образом на центральную часть японского архипелага, юг главного острова Хонсю, северную часть островов Сикоку и Кюсю. Остальная территория — весь остров Хоккайдо, западное побережье, южная часть островов Сикоку и Кюсю — находились слишком далеко от столицы. Также надо принять во внимание, что постоянной столицы вначале не было. Как только умирал очередной император, его наследник переносил свою резиденцию на новое место. Например, в VIII веке столицей Страны восходящего солнца был город Нара (Хэйдзё), в IX–X веках была построена новая столица — Хэйан (нынешний Киото).
Восстания крестьян, недовольных своим бесправным положением, ожесточенно сражавшиеся с японцами племена айнов, бесчинства разбойничьих шаек, скрывавшихся в лесах, пираты, промышлявшие грабежом в прибрежных водах, — все это вынуждало губернаторов отдаленных от центра провинций собственными силами наводить порядок на местах, не полагаясь на помощь императорских войск. Из боеспособных мужчин они создавали военные отряды, в которые входили как члены их семейного клана, так и чужие по крови люди. Возглавляли такие отряды, как правило, владельцы крупных поместий.