Органы прокурорского надзора устанавливались вместе с органами Советской власти по мере освобождения территории от белогвардейцев и алаш-ордынцев. При этом повсеместно учитывались национальные особенности коренного населения.
Вскоре после принятия Положения о прокурорском надзоре начала организовываться прокуратура Казахстана, во главе которой стоял первый прокурор республики, он же народный комиссар юстиции Губайдулла Алибеков.
В начале 20-х годов уже было создано 7 прокуратур — по числу образованных губерний; к концу 1924 года их число возросло до девяти, хотя штат оставался по-прежнему малочисленным. Например, из отчета прокуратуры Семипалатинской губернии об итогах работы за 1923 год (прокуратура была создана 22 сентября 1922 года) видно, что в ее штате, кроме губернского прокурора, имелось девять помощников. Из них по одному помощнику приходилось для особых поручений, для ревтрибунала, совета народных судей, остальные являлись прокурорами Усть-Каменогорского, Павлодарского, Каркаралинского, Семипалатинского, Зайсанского, Бухтарминского уездов. Аналогичный принцип организации был и в других губерниях.
По штатному расписанию 20-х годов в республике имелось 9 губернских прокуроров, 8 заместителей, 21 камерный прокурор и 47 участковых.
В годы становления всего аппарата республиканской прокуратуры остро стоял вопрос о кадрах, и особенно о национальных кадрах. Известно, что по переписи 1920 года грамотных было 11,7 %, а среди казахского населения 2,5 %. В республике преобладало кочевое население, крайне малочисленным был пролетариат, что усугубляло трудности.
С первых же шагов Советской власти работа по подготовке национальных кадров, и в том числе для судебного аппарата, осуществлялась на основе ленинского указания о массовом привлечении трудящихся к управлению государством. В 20-х годах эта подготовка получает научную основу. В 1923 году в Оренбурге открыты постоянные краевые курсы судебных работников, преимущественно из казахов. Как результат мудрой национальной политики Советской власти на местах, можно отметить характерный факт — на 1 октября 1925 года свыше половины прокурорских работников республики составляли казахи. По направлению партийных и комсомольских органов на работу в прокуратуру приходили лучшие представители рабочего класса и крестьянства, коммунисты и комсомольцы.
Значительную помощь в подготовке национальных кадров сыграл введенный в то время в советских учреждениях республики институт практикантов-казахов. Сотни казахов — рабочих, бедняков, батраков с помощью русских товарищей приобретали знания, опыт, навыки в работе.