После такого бедствия молодой князь Дмитрий Иванович созвал бояр и князей на совет о новых укреплениях города, потому что негоже было Москве впредь обходиться деревянными стенами, как деревне. Все лето и зиму заготовляли белый камень в селе Мячково, а весной 1367 года собрали со всех русских земель мастеров каменного дела, которые и стали выкладывать первые каменные стены Кремля. Но старые дубовые стены снесли не сразу, так как нельзя было даже на короткий срок оставлять Москву без укреплений. На смену «великой тишине», которую оставил своим преемникам искусный правитель Иван Калита, пришло время военных столкновений с Золотой Ордой и с соседями. Москве по-прежнему угрожали тверские князья, все еще добивавшиеся великокняжеского престола. На западе вставала могущественная Литва, поддерживавшая в своих интересах воинственные устремления Твери, со всех сторон и в любой час великокняжеский стольный град ожидало внезапное нападение.
При возведении белокаменных стен Кремля трудилось более 2000 строителей — неслыханные по тем временам масштабы. Каменные стены ставили вне деревянного Кремля, местами отдаляясь от старой линии на 35 и более метров. Крепость росла быстро, и работы в основном были закончены к началу 1368 года. Над Москвой засияли белоснежные каменные стены, и башни, и новый Кремль расширился почти до размеров нынешнего. Он был опоясан глубоким рвом и имел железные ворота; на его высоких стенах грозно ощетинились каменные зубцы, пространство между которыми забиралось толстыми досками для защиты от стрел нападавших.
Население посадов при нападении врага укрывалось за кремлевскими стенами, принимая самое активное участие в обороне. А таких случаев в то тревожное время было немало, и не зря спешили москвичи с возведением каменных стен. Едва успели строители покинуть места работ, как примчался в Кремль гонец: литовский князь Ольгерд «тихим обычаем» перешел русский рубеж и перебил пограничный сторожевой пост. Узнав, что князь в Москве и почти без рати, литовцы поспешили сюда. На разбогатевший город, который за 40 лет мира будто бы отвык воевать, Ольгерда натравливали тверские князья, пуще всего боявшиеся возвышения Москвы. Когда литовское войско, одетое в звериные шкуры, подошло к Кремлю, он был готов к обороне. Мосты над рвами были подняты, ворота наглухо заложены камнями и бревнами, над башнями зловеще поблескивали щиты и копья…
Окружив Кремль, литовцы занялись грабежом близлежащих сел, но князь Ольгерд видел уже, что здесь он напрасно теряет время. А тут еще из дома пришла тревожная весть, что в Литву пожаловали тевтонцы, и через три дня литовцы сняли осаду Кремля.