Но какими бы мотивами ни руководствовались правители, чаяния и надежды политзаключенных и ссыльных стали постепенно сбываться. Наряду с установлением судебного порядка пересмотра дел (по Указу Президиума Верховного Совета СССР от 1 сентября 1953 г. Верховный Суд СССР получил право пересматривать по протесту Генпрокурора СССР решения коллегии ОГПУ, Особого совещания и двоек и троек) был введен и упрощенный порядок. В мае 1954 г. начала работу Центральная комиссия по пересмотру дел осужденных за «контрреволюционные преступления», содержащихся в лагерях, колониях, тюрьмах и находящихся в ссылке на поселении, созданы аналогичные комиссии на местах. Центральная комиссия получила право пересматривать дела на лиц, осужденных Особым совещанием при НКВД — МГБ или Коллегией ОГПУ; местные комиссии наделили функциями пересмотра дел осужденных двойками и тройками НКВД. Для изучения положения спецпоселенцев была образована комиссия под председательством Ворошилова, результатом деятельности которой стало известное постановление «О снятии некоторых ограничений в правовом положении спецпоселенцев» от 5 июля 1954 г. Были освобождены из ссылки ранее осужденные на срок до 5 лет за «антисоветскую деятельность», сняты ограничения по спецпоселению с раскулаченных и граждан немецкой национальности, проживавших в районах, откуда выселение не производилось.
В следующем году были выработаны предложения по пересмотру политики в отношении отдельных репрессированных народов. Первыми от спецпоселения были освобождены немцы. В этом определенную роль сыграло установление дипломатических отношений между СССР и ФРГ и состоявшийся в сентябре 1955 г. визит в Москву западногерманского канцлера Аденауэра. Тогда же был принят ряд актов об освобождении от спецпоселения и возвращении к местам прежнего проживания греков.
Механизм принятия решений о реабилитации не был простым. Лишь в 1954 г. органы прокуратуры получили право востребовать из КГБ архивно-следственные дела, что позволило увеличить количество рассматриваемых персональных дел осужденных в судебном порядке жертв репрессий. Прокурорам, следственным работникам, военным юристам полагалось провести так называемую проверку дела, в ходе которой собиралась разнообразная информация о репрессированном, вызывались свидетели, запрашивались архивные справки. Особую роль при этом играли справки Центрального партийного архива, в которых отмечалась принадлежность репрессированного лица к той или иной оппозиции либо отсутствие таких данных.
Проводивший проверку работник составлял заключение. На основании этого документа Генеральный прокурор СССР, его заместители, Главный военный прокурор вносили (а могли этого и не делать) на Пленум, Коллегию по уголовным делам или Военную коллегию Верховного суда СССР протест по делу. Суд выносил определение. Оно не обязательно было реабилитационным. Суд, например, мог переквалифицировать предъявленные статьи (политические в уголовные и наоборот), мог оставить прежний приговор в силе, наконец, мог ограничиться лишь снижением меры наказания