К лету 1966 года Джимми стал значимой величиной в лондонском музыкальном мире, но по большому счету известен он был только профессионалам. Широкая публика не имела понятия о выдающихся способностях Пейджа, так как имя сессионного музыканта не так уж часто указывается на конверте пластинки. Естественно, Джимми постепенно осознавал, что в качестве студийного музыканта прославиться почти невозможно, и настоящая слава может ждать его лишь в наполненном публикой концертном зале Поэтому, когда ему поступило предложение присоединиться к группе «Yardbirds», он согласился не задумываясь, даже несмотря на то, что звали его в качестве бас-гитариста.
Справедливости ради стоит заметить, что впервые предложение от «Yardbirds» поступало к Джимми еще год назад. Но тогда он отказался, вместо себя порекомендовав Джеффа Бека (Полный благодарности Бек тогда презентовал Пейджу редкую гитару). На этот раз Джимми стал полноправным членом группы. Пришел он на место Пола Сэмвелла-Смита (Paul Samwell-Smith), который покинул коллектив ради карьеры продюсера, то есть именно ради той работы в студии, от которой так стремительно избавлялся Пейдж.
«The Yardbirds» были заметным явлением на британской ритм-энд-блюзовой сцене. С момента своего основания в 1963 году они были стабильно популярны, особенно после того как стали регулярно выступать в клубе «Crawdaddy» в Ричмонде, где когда-то выступали «The Rolling Stones». На первом этапе карьеры в состав группы входил Эрик Клэптон, чья игра доводила фанатов до исступления и чьи версии американских блюзовых стандартов до сих пор вызывают чувство восхищения у меломанов. Кроме Клэптона в группе тогда выступали Кит Рельф (Keith Relf) — вокал, Пол Сэмвэлл-Смит — бас, Джим Маккарти (Jim McCarty) — барабаны и Крис Дреджа (Chris Dreja) — ритм-гитара. Однако спустя почти полтора года «Yardbirds» стали исполнять более коммерческую музыку, используя в качестве исходного материала композиции Грэма Гоулдмэна (Graham Goldman). Популярность группы стремительно пошла вниз, Клэптон выразил свой протест, и в феврале 1965-го покинул состав. Именно тогда Пейдж получил первое приглашение. Пришедший на место Клэптона Бек сумел на какое-то время поднять интерес к группе. Но к лету 1966 года «Yardbirds» катастрофически нуждались в свежих идеях. Именно Пейдж и стал их генератором. Уже первый сингл «Happenings Ten Years Time Ago»/«Psycho Daisies», записанный при участии Джимми и выпущенный в ноябре 1966-го, продемонстрировал перспективную гитарную связку Пейдж — Бек. Джимми играл на соло-гитаре, создав прецедент игры двух соло-гитар, что несколько позже станет фирменным атрибутом и будет усиленно эксплуатироваться такими монстрами хэви-метал, как «Judas Priest» и «Iron Maiden».