В 1358 г. Рославль захвачен литовским князем Ольгердом и стал частью удельного Мстиславльского княжества Великого княжества Литовского. Начался длительный спор между Литвой и Москвой за владение смоленскими уделами. В 1515 г. Рославль возвращен Великому княжеству Московскому. В VI в. образован Рославльский уезд. Земли Рославльского уезда жаловались за особые заслуги московским служилым людям. Тогда же насыпан новый городской вал и срублена деревянная крепость с башнями и бойницами. Гарнизон насчитывал 300 стрельцов и казаков при достаточном количестве пушек.
Позже город подпал под власть Польши. В 1654 г. царь Алексей Михайлович вернул земли Смоленского княжества, в том числе и Рославль. С тех пор они стали неотъемлемой частью Российского государства.
По реформе 1775 г. Рославль сохранил статус уездного города Смоленского наместничества. Имеет свой герб.
В городе много церквей. Древний Спасо-Преображенский мужской монастырь, «известный до 1560 г.».
В 1812 г. Рославль и уезд дали русскому войску 1265 ополченцев. Возглавил его окружной начальник штабс-капитан Б.Я. Азанчевский. Рославльские ополченцы дрались храбро, за что получили благодарность фельдмаршала М.И. Кутузова.
В 1895 г. построена Рижско-Орловская железная дорога, которая прошла через Рославль. Построены Рославльские железнодорожные мастерские. В 1929 г. на базе мастерских создан Вагоноремонтный завод. Перед началом войны на заводе работало полторы тысячи рабочих и инженеров. В 1934 г. построена и начала действовать железнодорожная ветка Рославль – Кричев. В 1936-м – Рославль – Сухиничи.
Через Рославль проходит шоссе Москва – Брест, которое в народе называют Варшавкой. Кроме того, дороги идут на Брянск, Смоленск и в Ельню.
Немецкие войска вошли в город 3 августа 1941 г.
Немцы сделали Рославль окружным административным центром, которому подчинялись десять административных районов. Действовала военно-полевая комендатура первого разряда. Здесь разместились крупные штабы. Выходила газета на русском языке. Возобновились богослужения в храмах.
В Рославле был создан один из крупнейших концлагерей для советских военнопленных – DULAG 130. Зимой 1941–1942 гг. здесь содержалось около 100 тысяч военнопленных. В день в ров из лагеря вывозили 500–600 тел. Тела укладывали в 3–6 рядов.
На одной из улиц города, откуда предварительно было выселено русское население, оккупационные власти создали еврейское гетто. Впоследствии многие жители гетто были уничтожены.
За время осуществления политики «нового порядка» количество жителей города с 41 480 человек сократилось до 7400 человек.