На эти годы пришлось руководство Балицким органами государственной безопасности Украины. Его практическая деятельность находила высокую оценку и поддержку в Киеве и Москве. Он характеризовался преданным, стойким, верным в проведении политики партии в жизнь большевиком-чекистом; его именем были названы некоторые колхозы, новый стадион «Динамо» в Харькове.
В связи с назначением в июле 1931 года Балицкого на должность заместителя председателя ОГПУ, Менжинский обратился со специальным письмом к сотрудникам ГПУ Украины. Он отметил, что до переезда в Москву Балицкий 12 лет бессменно стоял во главе органов и войск ГПУ на Украине, «являясь их руководителем, организатором и воспитателем». «Украинские чекисты, — отмечал председатель ОГПУ, — вписали прекрасные, героические страницы в историю ВУЧК — ОГПУ, огромны, неисчислимы их успехи и победы на Украине за все время существования советской власти. Происки и козни классовых врагов всегда разбивались о гранит чекистской закалки, партийной преданности и классовой выдержанности чекистов Украины, воспитанных в духе большевистской партийности и лучших чекистских традиций».
И вместе с тем с именем Балицкого связаны аресты и высылки крестьян, «националистической» интеллигенции. В ноябре 1932 года Балицкий был направлен особоуполномоченным ОГПУ на Украину, где в это время свирепствовал голод, с задачей «безусловно выполнить план хлебозаготовок». И, судя по всему, выполнил.
В 1933 году Балицкого снова вернули на Украину. Сталин считал необходимой его работу в этой республике, что хорошо видно из его переписки с Кагановичем. Всесоюзная газета «Известия» писала, что Балицкий должен помочь миллионам украинских селян подавить кулацкий саботаж и обеспечить молодым колхозам возможность «спокойно расти и расцветать». Видимо, для «расцвета» колхозного движения Политбюро ЦК ВКП(б) СССР 10 марта 1932 года предоставило право рассмотрения дел «по повстанчеству и контрреволюции» на Украине тройке ГПУ в составе товарищей Балицкого, Карлсона и Леплевского и применения высшей меры социальной защиты. Балицкого считают одним из главных организаторов массового террора на Украине, унесшего жизни десятков тысяч людей.
С 1935 года он имел высшее звание «комиссар государственной безопасности 1 ранга» (равнозначно генералу армии), которое за всю историю было присвоено всего девяти руководителям органов государственной безопасности.
С приходом Ежова на должность наркома внутренних дел СССР усилились массовые репрессии 1937–1938 годов. На Украине расширилась кампания по разоблачению «врагов народа» среди партийно-советского актива, командного состава Вооруженных сил и сотрудников органов государственной безопасности.