Дальнейшая реорганизация и совершенствование органов милиции проводились в соответствии с решениями XII съезда партии, состоявшегося в апреле 1923 года. Эти решения требовали улучшить работу государственного аппарата, упростить его и строить на принципах,
«…исключающих возможность бюрократических извращений и излишеств. Только путем такого радикального изменения всей техники управления, искоренения всего ненужного и лишнего в нем, а также посредством энергичной чистки государственного аппарата партия и государство в состоянии будут заставить государственный аппарат обслуживать интересы рабочих и крестьян с наибольшей полнотой»[5].
В этот период структура и правовое положение органов милиции определялись «Положением о Центральном административном управлении НКВД РСФСР». В составе ЦАУ имелись отдел милиции и отдел уголовного розыска, а начальник ЦАУ одновременно являлся начальником милиции республики. На местах органы милиции находились в ведении административных отделов исполкомов — административные отделы были местными органами НКВД РСФСР.
Весной 1928 года состоялся II Всероссийский съезд административных работников, обсудивший задачи административных органов в свете решений XV съезда ВКП(б).
К тому времени Центральное административное управление было ликвидировано, отделы милиции и уголовного розыска стали самостоятельными, подчиняясь непосредственно наркому внутренних дел. Начальники краевых и областных административных отделов, в отличие от прежнего положения, теперь также подчинялись наркому.
В те годы исключительно важное значение имела деятельность милиции в сельской местности, где шла острая классовая борьба. Положение на селе характеризовалось в отчетном докладе правительства Казахстана на VI Всеказахском съезде Советов (март — апрель 1927 года):
«…в настоящее время в ауле господствует бай, господствует кулак, господствует аткаминер, аксакал: беднота находится всецело в зависимости от них, под их влиянием».
Г. К. Орджоникидзе в своем заключительном слове на XV съезде партии говорил о роли милиции на селе:
«Какое, например, громадное значение имеет отношение к крестьянам в сельсовете, в милиции и т. д. Как крестьянин привык судить о нашей советской власти? Не по тому, как к нему относится тот или иной народный комиссар, которого он, может быть, и не видел никогда в своей жизни. Нет, крестьянин судит по тому, как к нему относятся в сельсовете, участке милиции и т. д.»
Директивы XV съезда партии о решительном наступлении против кулачества поставили перед советским государственным аппаратом, включая и милицию, важные и сложные задачи.