Однако спустя годы былой симбиоз руссов – викингов сменился враждой. Первое летописное упоминание о нападении шведов на русские владения со времен Рюрика относится к 1164 году, когда шведы попытались захватить Ладогу. Ладожане сожгли посад и затворились в Кремле, послав в Новгород за помощью. С ходу взять одну из первых на Руси каменных крепостей шведы не смогли. Убедившись, что стены Ладоги им не по зубам, шведы отступили, надеясь выманить русских на бой в чистом поле. Ладожане на уловку не поддались, а через пять дней подошла подмога из Новгорода. Новгородское ополчение и княжеская дружина ударили по шведам и нанесли им сокрушительное поражение. Из 55 судов шведы потеряли 43. Согласно сообщению новгородской летописи, из тех немногих, кому удалось спастись бегством, все были раненые. Причины появления шведов на Ладоге летопись не объясняет. Красноречивое молчание летописца на сей счет говорит о том, что для современников это событие не было неожиданностью. Из-за чего же бывшие союзники стали врагами? Во времена викингов будущие датчане, норвежцы и шведы безраздельно господствовали на побережье Балтики. В частности, территория современной Эстонии была зоной влияния шведских викингов, которые обложили данью местных жителей. В отличие от скандинавов, славянские племена Киевской Руси на побережье Балтийского моря не селились. Они осваивали берега рек. Заболоченные прибалтийские леса стали естественной границей расселения восточных славян.
К началу XI века шведы утратили контроль над Прибалтикой. Произошло это из-за того, что в Швеции разразилась гражданская война между христианами и язычниками, которая продлилась целое столетие. Воспользовавшись тем, что шведы были заняты решением религиозных споров, прибалтийские народы перестали платить им дань. Живущие на побережье и островах Балтийского моря племена аборигенов стали промышлять морским разбоем, осмелев настолько, что стали нападать на прибрежные поселения Дании и Швеции. Активным участником набегов на ослабленную гражданской войной Швецию становятся данники Новгорода карелы. В середине XII века карелы предприняли несколько крупных набегов на шведские владения в Финляндии и на остров Готланд. Эти походы карелы совершали из Ладожского озера, выходя в Балтийское море по рекам Нева и Вуокса.
Потерю шведами восточного побережья Балтики относят ко времени царствования короля Олафа Скетконунга (995-1022), дочь которого Ингигерда была женой Ярослава Мудрого. Вместе с ней на Русь приехал ярл Рагивальд, который стал княжеским наместником в одном из городов (возможно, в Ладоге, которую Ярослав подарил своей невесте в качестве свадебного подарка). При дворе Ярослава Мудрого нашел прибежище и норвежский король Олаф Святой, который, потерпев неудачу в обращении своих подданных в христианство, потерял трон и бежал в Киев. Сын Олафа Магнус Добрый был воспитан при дворе великого князя Киевского. Сам Олаф стал у Ярослава «начальником войска, посылаемого для защиты границ» (Соловьев, СС. т. 1, с. 224). Аналогичные функции были возложены и на ярла Рагивальда. У него было три сына, двое унаследовали отцовскую должность, а третий – Стенкиль стал шведским королем (1060—1066). Шведским королем стал и сын Стенкиля – Инге (правил с 1083 по 1110 г.), который тоже получил воспитание при дворе Киевского князя.