В органах госбезопасности с марта 1932 года, прошел должности помощника уполномоченного 1-го отделения ЭКУ ОГПУ СССР, ЭКО ГУГБ НКВД СССР, оперативного уполномоченного, помощника начальника отделения, помощника начальника Следственной части НКВД СССР.
Чекистское образование получил в Высшей школе ОГПУ.
4 сентября 1939 года был назначен начальником созданной Следственной части Главного экономического управления НКВД СССР.
26 февраля 1941 года стал наркомом госбезопасности Украины, а после был назначен начальником ЭКУ НКВД СССР.
Во время Великой Отечественной войны в сентябре — ноябре 1941 года — начальник 7-го спецотдела НКВД СССР, курирующий обеспечение производства минометного вооружения.
С 19 апреля 1943-го по 17 декабря 1945 года занимал пост заместителя начальника ГУКР Смерш, одновременно в 1944–1945 годах — заместитель командующего 1-м Украинским фронтом по делам гражданской администрации.
После освобождения Польши помогал Временному польскому правительству создавать органы ГБ республики.
С августа 1945-го по март 1953-го — заместитель начальника 1-го Главного управления при СМ СССР Б. Л. Ванникова по режиму секретности. С марта 1953 года — министр внутренних дел УССР. Летом 1953-го арестован в Киеве после задержания в Москве Л. П. Берии.
Специальным судебным присутствием Верховного суда СССР 23 декабря 1953 года Мешик вместе с другими сотрудниками НКВД был приговорен к высшей мере наказания — расстрелу за злоупотребление властью и фальсификацию уголовных дел…
В феврале 1941 года комиссара госбезопасности 3-го ранга Мешика назначили руководить народным комиссариатом ГБ. Прибыв в Киев, он, родившийся на Украине, знал, с чего начать — страна, понимающая, что нацистский гнойник должен разорваться и потоки нечистот после Польши потекут на восток, готовилась к войне. На своей родине он видел, что поднимает голову радикальный национализм, организационно сбитый в бандитские формирования.
Мешик знал, что ОУН возлагала на новую войну огромные надежды, намереваясь при поддержке Гитлера получить Украинское государство. В работе одного из главных теоретиков предвоенного периода Михаила Колодзинского «Украинская военная доктрина», появившейся в 1938 году, указывалось:
«Мы хотим не только обладать украинскими городами, но и топтать вражеские земли, захватывать вражеские столицы, а на их развалинах отдавать салют Украинской империи… Хотим выиграть войну — великую и жестокую войну, которая сделает нас хозяевами Восточной Европы».
Руководитель НКГБ УССР Павел Яковлевич Мешик следил за событиями, развивающимися в среде украинских националистов. Он сообщил в Москву данные, что в апреле 1941 года сторонники Бандеры в Кракове в пику назначенному главарем Центрального Провода ОУН (ПУН) Мельнику созвали свой съезд — Второй великий сбор украинских националистов и избрали нового вождя ОУН. Им стал Степан Бандера, который заявил на сборе, что