Но, став в 1884 г. благодаря кавказской стипендии студентом восточного факультета Петербургского университета, Марр сразу же показал свои таланты. Тогда студенты на факультете учили либо один восточный язык, либо два-три языка, культурно связанные (например, иранисты кроме персидского языка учили арабский). А Марр стал учиться сразу на четырех разрядах, что не имело на факультете прецедентов, и выучил все языки Ближнего Востока, там преподававшиеся. Одним из его талантов был полиглотизм. Но его подготовка имела существенный пробел. Студентов-востоковедов тогда учили в основном читать старинные рукописи, но не учили лингвистике. Исключительно развитое к тому времени сравнительно-историческое языкознание (о нем подробнее всего см. в очерке о С. А. Старостине) не преподавалось востоковедам. И Марр, в ранние годы принимавший его постулаты, просто не умел работать в этой области, в чем даже не было его вины. Но потом именно по этой причине ему было легко эти постулаты отбросить.
Окончив в 1888 г. университет, молодой ученый решил специализироваться по кавказоведению; в этой области на факультете у него не оказалось сильных конкурентов. При этом с самого начала он не ограничивался грузинской филологией, занявшись и Арменией, позже он включил в сферу интересов и другие языки и культуры Кавказа. К тому времени его национальные симпатии сменились общекавказскими (уже в годы Гражданской войны правившие в Грузии меньшевики предложили Марру стать ректором нового Тбилисского университета, он отказался, поскольку создавался чисто грузинский университет, а он настаивал на межнациональном университете с грузинским, армянским и азербайджанским факультетами). И уже в ранние годы у него были любимые идеи, которые он отстаивал, даже если они противоречили научно установленным фактам. Одной из них была идея о великом историческом прошлом кавказских народов. Другой – усвоенный с детства тезис об особой близости грузин и армян, который хотелось подкрепить доказательством родства их языков. Но сравнительно-историческое языкознание к тому времени установило, что армянский язык входит в обширную индоевропейскую семью, с грузинским же языком ясности не было, но, во всяком случае, он никак не мог считаться индоевропейским. Уже это вызвало недовольство молодого ученого.
Но пока еще Марр в основном следовал канонам своей профессии. Выдвинулся он не как языковед, а как филолог, затем как археолог (хотя в это время он написал и лучшие свои лингвистические работы, в том числе грамматику родственного грузинскому лазского языка, и сейчас ценимую специалистами). В ранний период своей деятельности он совершил несколько путешествий на Кавказ, на Афон и Синай, где изучал библиотеки православных и армяно-григорианских монастырей, найдя там ценные древнегрузинские и древнеармянские рукописи, которые издал. Видный немецкий богослов А. Гарнак после этого писал, что Марр доказал принадлежность грузин к «великой греко-христианской семье народов древности». Все эти памятники были церковными, сам Марр в те годы был старостой грузинской церкви в Петербурге и принимал участие как эксперт в канонических спорах. Кто мог тогда представить, что он единственным из членов Императорской академии наук вступит в партию большевиков? А как археолог Николай Яковлевич достиг еще больших успехов. В основном он раскапывал армянские памятники, прежде всего, древнюю столицу Армении Ани. В связи с этим его имя до сих пор окружено почетом в Армении (намного больше, чем в его родной Грузии).