8 сентября гитлеровцам удалось прорваться к Ладожскому озеру и захватить Шлиссельбург. Связь с Большой землей по суше прервалась, город на Неве был блокирован. 9 сентября Верховный Главнокомандующий направил Ворошилову и Жданову телеграмму следующего содержания: «Вы сообщаете нам только лишь о потере нами той или иной местности, но обычно ни слова не сообщаете о том, какие же вами приняты меры для того, чтобы перестать терять наконец города и станции… Может быть, вы уже предрешили сдать Ленинград?»>{22}. По решению Сталина во главе Ленинградского фронта с 10 сентября встал генерал армии Жуков.
Время окончательно уценило бывшего командующего как военачальника. Его крайне неудачные действия в феврале—марте 1942 г. уже в качестве представителя Ставки на Волховском фронте окончательно убедили в этом Сталина. В последующем, если Ворошилова изредка использовали в качестве представителя Ставки, то только вместе с другими, куда более одаренными военачальниками: Г.К. Жуковым, A.M. Василевским, С.М. Штеменко. Какое-то время он был главнокомандующим партизанским движением и председателем Трофейного комитета при ГКО, но к осени 1943 г. его освободили и от этих обязанностей. В последнем составе Ставки ВГК, утвержденном ГКО 17 февраля 1945 г., места Ворошилову уже не нашлось.
После мая 1945 г. к военным делам маршал, по существу, отношения не имел. Как заместитель председателя Совета Министров СССР, он занимался сферой культуры. Стали ухудшаться его ранее почти безоблачные отношения с вождем. Открытое пренебрежение, которое демонстрировал Сталин, приобретало подчас зловещие формы. Заместитель главкома Военно-Морского Флота адмирал И.С. Исаков привел характерный эпизод. На одном из заседаний Политбюро, обсуждавшего пути развития ВМФ, Ворошилов высказался невпопад. Сталин отреагировал так, что у адресата его слов предательски побежал по спине озноб: «Не понимаю, для чего хочется товарищу Ворошилову ослабить Советский Военно-Морской Флот». Эта реплика, к тому же повторенная дважды, естественно, не ускользнула от внимания присутствующих. Когда после заседания все по приглашению Сталина стали смотреть кинофильм, рядом со старым маршалом образовался вакуум.
Фильм закончился. Вождь, увидев одиноко сидящего Ворошилова, неожиданно встал и, подойдя, положил ему руку на плечо. «Лаврентий, — обратился он к Берии. — Надо нам лучше заботиться о Ворошилове. У нас мало таких старых большевиков, как Клим Ворошилов. Ему нужно создать хорошие условия»>{23}. Все молчали. Да и что тут скажешь, если «позаботиться» о давнем соратнике предлагается карательных дел мастеру. А в последние годы жизни Сталина его подозрительность дошла до такой степени, что он не раз объявлял Ворошилова английским шпионом.