Однако вскоре Берия потерял интерес к Рясному. По мнению историков отечественных спецслужб, причиной явилось резкое негативное отношение Рясного к идее проведения в Москве совещания резидентов, инициатива которой принадлежала первому заместителю Берии Богдану Кобулову. Начальник внешней разведки выступил против проведения такого совещания, ссылаясь на принципы конспирации в работе разведки и опасность «подставить» резидентов противнику. Дело дошло даже до обсуждения этого вопроса в ЦК партии, так как Рясной являлся кандидатом в члены ЦК КПСС.
Однако Берия больше доверял своему первому заместителю Кобулову, который в то время курировал внешнюю разведку. А всеми оперативными делами в разведке руководил один из заместителей Рясного — кадровый и проверенный в сложных операциях генерал-майор Александр Михайлович Коротков. И неудивительно, что уже 28 мая 1953 года Рясной по инициативе Берии был переведен на другую работу.
После освобождения от должности начальника разведки генерал-лейтенант Рясной возглавил Управление МВД по Москве и Московской области. В это время в Москве после бериевской амнистии 1953 года собрались уголовники со всей страны, так что у нового руководителя московской милиции дел было достаточно.
Известный российский писатель, автор ряда сенсационных книг Феликс Чуев в одной из своих работ отмечал: «О работе Рясного в Московском управлении я слышал неплохие отзывы. Один из крупных чекистов более позднего призыва генерал-лейтенант Иван Павлович Абрамов, в то время секретарь комсомольской организации управления, рассказывал: “Я пришел молодой, горячий, критику там навел, так он не то что меня не выгнал или прижал, а еще потом и наградил! Я был так удивлен”».
30 марта 1956 года В. С. Рясной был уволен в запас. Вскоре его вызвали в ЦК КПСС и назначили начальником строительства Волго-Балтийского канала. Этот канал завалили во время войны, и его надо было восстанавливать. Через два года работы были завершены: появились большие шлюзы, заработали электростанции, в Ленинград из Москвы пошли суда.
В 1958 году Рясной переведен в систему дорожного строительства, и очень долго, до 1988 года, работал управляющим дорожным трестом. В 1988 году в возрасте восьмидесяти четырех лет Рясной вышел на пенсию.
Генерал-лейтенант Рясной награжден двумя орденами Ленина, четырьмя орденами Красного Знамени, орденами Кутузова II степени, Красной Звезды и Трудового Красного Знамени, а также многими медалями.
Скончался 12 декабря 1995 года.