Вдоль центральной улицы города (приблизительно соответствующей современной улице Владимирской), между Золотыми воротами и площадью перед Софийским собором, были воздвигнуты два величественных собора в честь небесных патронов великого князя (Георгиевский) и его жены (Ирининский), при которых были учреждены монастыри. После 1037 г. неподалеку был сооружен еще один большой каменный собор, не отмеченный в летописях, но обнаруженный в ходе археологических раскопок. Тогда же, по примеру Софии Киевской, были возведены величественные храмы Святой Софии в Новгороде и Полоцке, а также Спасо-Преображенский собор в Чернигове.
Годы правления Ярослава ознаменовались становлением на Руси монастырской жизни, едва начинавшейся при Владимире. Несколько южнее Киева, на высоком гористом берегу Днепра преподобный Антоний основал знаменитый Печерский монастырь. При Софии Киевской и ее митрополичьей кафедре Ярослав организовал образовательный центр, при котором была создана первая на Руси библиотека, где развернулась обширная переводческая деятельность. С греческого на старославянский язык, понятный всем образованным людям Руси, переводились книги не только церковного, но и светского содержания. Ведущую идейную и организационную роль в этой культурно-просветительской работе играл один из ближайших сподвижников Ярослава — Илларион, ранее прославившийся своими произведениями и речами. Вокруг Ярослава и Иллариона при Софии Киевской образовалась своеобразная академия — кружок хорошо подготовленных книгочеев, занятых не только переписыванием и переводом старых текстов, но и созданием новых литературных произведений. Здесь к 1037 г. был составлен первый на Руси летописный свод, заложивший основу последующего древнерусского летописания.
Ярослав любил читать церковные книги и вести благочестивые беседы со священниками и монахами. Он неоднократно встречался с преподобным Антонием Печерским. Книги князь читал днем и ночью, заказывая для себя переводы и новые произведения. С именем Ярослава связано создание выдающегося памятника отечественного средневекового права — свода законов «Русская Правда». За любовь к знаниям и благоразумное, осмотрительное управление государством Ярослав был прозван в народе «Мудрым». Этот почетный эпитет неотделим от его имени.
В 1043 г. блестящие успехи были несколько омрачены неудачным походом на Константинополь старшего сына Ярослава Владимира и воеводы Вышаты. У болгарского побережья флот русичей настигла сильная буря. Вышата, с частью дружины оказавшись на берегу, попал в плен и был освобожден лишь четыре года спустя. Владимир, несмотря на сложность ситуации, разбил высланный против него византийский флот, но ввиду понесенных потерь вынужден был вернуться домой. Отношения с Византией на некоторое время испортились. Конфликт с империей усугубился и тем, что вопреки воле византийской стороны и многолетней традиции, Ярослав возвел на киевскую митрополичью кафедру не грека из Константинополя, а своего сподвижника Иллариона.