Организация управления артчастями РГК во время начального периода войны против СССР существенных изменений не претерпела. Новшеством стало формирование т. н. «артиллерийских полковых штабов особого назначения», предназначенных для управления разнотипными артдивизионами и отдельными батареями, приданными тем или иным общевойсковым либо танковым соединениям. Например, 23 июля 1941 г. 4-й танковой группе был передан 802-й артиллерийский полковой штаб особого назначения, в подчинении которого находилось в общей сложности четыре дивизиона: 1-й и 2-й дивизионы 84-го артполка с немецкими и чешскими 240-мм пушками, 768-й артдивизион с 210-мм мортирами и 680-й артдивизион с 150-мм пушками.
Весной 1942 г. в составе артиллерии РГК появились первые части, вооруженные трофейными советскими орудиями — 1-й и 2-й стационарные артдивизионы «Смоленск». Каждый из них имел в своем составе пять батарей — четыре со 122-мм и 152-мм гаубицами и одну с 76,2-мм пушками Ф-22. Во второй половине года в составе артиллерии РГК появились первые части, вооруженные самоходными орудиями — 1-й и 2-й самоходно-артиллерийские полки. Они были сформированы во Франции и вооружены САУ на шасси трофейных транспортеров «Лоррэн». Каждый полк имел шесть шестиорудийных батарей. Пять из них были вооружены самоходными 150-мм гаубицами, а шестая — 105-мм гаубицами. 1-й самоходно-артиллерийский полк был расформирован уже в декабре 1942 г., а его матчасть распределили между тремя дислоцированными во Франции пехотными дивизиями. 2-й же полк в 1943 г. вошел в состав воссоздаваемой после разгрома в Тунисе 21-й танковой дивизии и стал именоваться 155-м панцерартиллерийским полком.
Несмотря на первоначальные успехи в войне против СССР, вермахт уже в 1941 — начале 1942 г. понес весьма тяжелые потери, в том числе и в артиллерии. Поначалу их удавалось компенсировать — количество артиллерии РГК летом 1942 г. не отличалось от количества в начале войны. Но вот в качественном составе произошли определенные изменения. В составе артиллерии РГК появились моторизованные дивизионы 105-мм легких гаубиц — летом 1942 г. их было 15. В качестве средства тяги в этих дивизионах применялись гусеничные тягачи RSO. Эта машина, простая и дешевая в изготовлении, представляла собой типичный «эрзац» военного времени. Максимальная скорость буксировки гаубиц составляла всего 17 км/ч (против 40 км/ч для полугусеничных тягачей). Было сформировано и несколько новых батарей железнодорожной артиллерии, вооруженных, главным образом, французскими установками. Вообще же представляется непонятным упорство командования сухопутных войск в развитии железнодорожной артиллерии — подобные установки не находили применения в концепции «блицкрига». Они были пригодны разве что при осаде крепостей либо в системе береговой обороны. Но единственной крепостью, при осаде которой вплоть до конца 1943 г. применялась железнодорожная артиллерия, оставался Ленинград. Применение же таких установок в системе береговой обороны также нельзя признать особо эффективным — рассредоточенные вдоль побережья орудия без обеспечения превосходства в воздухе ни в одном случае не смогли противостоять высадке вражеских десантов.