После окончания срока заключения (февраль 1953) Солженицын был отправлен в бессрочную ссылку. Он стал преподавать математику в районном центре Кок-Терек Джамбульской области Казахстана.
3 февраля 1956 Верховный суд Советского Союза освободил Солженицына от ссылки, а через год его и Николая Виткевича объявил полностью невиновными: критика Сталина и литературных произведений была признана справедливой и не противоречащей социалистической идеологии.
После реабилитации Солженицын переселился в небольшой поселок Рязанской области, где работал учителем. Через год он переехал в Рязань.
Еще в лагере у Солженицына обнаружили онкологическое заболевание, и 12 февраля 1952 года ему была сделана операция. Во время ссылки Солженицын дважды лечился в Ташкентском онкологическом диспансере. Вопреки ожиданиям медиков, злокачественная опухоль исчезла.
Первые литературные произведения относятся тоже к лагерным временам. Это стихотворения и сатирическая пьеса «Пир победителей». Там же был задумал рассказ об одном дне заключенного. В 1959 была написана повесть Щ-854 (Один день одного зэка). Щ-854 – лагерный номер главного героя, Ивана Денисовича Шухова. Щ-854 под измененным названием – Один день Ивана Денисовича – был напечатан в № 11 журнала «Новый мир» за 1962 год. Существование Ивана Денисовича совершенно беспросветно: для того, чтобы обеспечить элементарное существование (прокормиться в лагере, выменять табак или пронести мимо охраны ножовку), Шухов должен изворачиваться и часто рисковать собою. После публикации этого рассказа Солженицын стал известен всей стране.
«Один день…» был выдвинут на Ленинскую премию, однако сказывается энергичное противодействие защитников коммунизма, верно понявших, что имеют дело с настоящим противником системы, – премии Александр Солженицын не получает, исподволь начинается кампания клеветы. Борьба с писателем нарастает после падения Хрущева: в сентябре 1965 КГБ захватывает архив Солженицына; перекрываются возможности публикаций, напечатать удается лишь рассказ «Захар-Калита» («Новый мир», 1966, № 1); триумфальное обсуждение «Ракового корпуса» в секции прозы Московского отделения Союза писателей не приносит главного результата – повесть по-прежнему под запретом.
Через несколько месяцев после «Одного дня Ивана Денисовича» в № 1 «Нового мира» за 1963 год был напечатан рассказ Солженицына «Матренин двор». Как и «Один день Ивана Денисовича», это произведение было автобиографическим и основанным на реальных событиях из жизни знакомых автору людей. Прототип главной героини – владимирская крестьянка Матрена Васильевна Захарова, у которой жил писатель. Солженицын изображает героиню, живущую в нищете, потерявшую мужа и детей, но духовно не сломленную тяготами и горем.