За считаные недели после своего создания общество привлекло в свои ряды около пятисот членов. «[Оно] почти целиком состояло из мужчин с высоким социальным положением, – отмечал один из секретарей организации, добавляя: – Таким образом, его можно было бы назвать в какой-то степени светским общественным институтом, к членству в котором должен стремиться каждый, кто на что-то претендует». В первом списке членов общества значились выдающиеся геологи, гидрографы, натурфилософы, астрономы и видные офицеры, а также носители герцогских, графских и рыцарских титулов. Дарвин вступил в общество в 1838 году, а позже его примеру последовал его сын Леонард, который в 1908 году был избран председателем общества.
Снаряжая все новые и новые экспедиции по всему свету, общество привлекало в свои ряды не только искателей приключений, ученых и аристократов, но и разного рода эксцентричных личностей. Промышленная революция, сделавшая условия жизни низших классов просто чудовищными, в то же время невероятным образом обогатила британский средний и высший класс: их представители вдруг обнаружили, что могут себе позволить такое дорогостоящее хобби, как постоянные путешествия. Отсюда такой расцвет деятельности всякого рода богатых дилетантов в викторианском обществе. Королевское географическое общество стало прибежищем для таких людей, а кроме того, стало подспорьем для менее обеспеченных своих членов, таких как Ливингстон, чьи экспедиции нуждались в финансировании. Многие из входивших в общество были странноваты даже по викторианским меркам. Так, Ричард Бертон выступал в защиту атеизма и многоженства настолько яростно, что его супруга во время его отлучки в экспедицию вставила в одну из его рукописей следующее заявление: «Я горячо протестую против его религиозных и нравственных воззрений, идущих вразрез с достойной и благородной жизнью».
Неудивительно, что подобные члены общества представляли собой весьма неуравновешенную компанию. Бертон вспоминал, как на одном собрании, куда явилась его жена и другие родственники, он пришел в такое негодование после того, как его оппонент «изрыгнул лживые измышления», что стал размахивать указкой в направлении участников собрания, которые «глядели на меня так, словно я – тигр, который вот-вот на них прыгнет, или как будто я намерен пронзить указкой, точно копьем, моего оппонента, вставшего со скамьи. Словно чтобы еще больше оживить эту сцену, братья и сестры моей жены где-то в углу пытались удержать своего отца, старца, который прежде никогда не бывал на публичных прениях и который в безмолвной ярости медленно поднимался с места, слыша, как меня обвиняют в ошибочности утверждений». Много лет спустя другой член общества признавался: «Вероятно, путешественники – не самые подходящие люди для того, чтобы создавать из них какую-то организацию. Собственно, можно даже сказать, что они и стали путешественниками благодаря некоторой своей асоциальности и потребности регулярно удаляться от всех своих ближних на максимально возможное расстояние».