При всем при этом Толстому долгое время удавалось оставаться в тени; он слыл в Париже хлебосольным русским старожилом, ведущим праздную жизнь барина якобы на деньги, присылаемые из русского имения. Один из его парижских знакомых В. А. Муханов вспоминал: «Яков Толстой с радостью принимает вновь прибывших в Париж русских путешественников, вводит их во все дома, оказывает им всяческие услуги. Его можно встретить и на посольских обедах, и в литературном салоне министра народного просвещения Франции Сальвенди, и в кафе на бульварах. При встречах в дружеских кружках он предпочитает скорее расспрашивать, чем рассказывать сам».
В 1845 году случился скандал, в котором пострадала репутация Толстого. Некто Головин издал во Франции книгу «Россия Николая I», Толстой откликнулся на нее критической статьей, а обиженный Головин опубликовал ему ответ, в котором прямо называл его сотрудником Третьего отделения. К этим обвинениям присоединилась немецкая газета «Аугсбургер альгемайне цайтунг», назвав его человеком без всякой официальной должности, но стоявшим выше русского посольства в Париже. Яков Николаевич был вынужден на время уехать в Лондон, а когда в 1847 году скандал утих, он вернулся во Францию, где Бакунин и Анненков выступили в его поддержку, а Анненков даже пытался переубедить Маркса изменить о Толстом свое мнение. Возможно, писал Анненков Марксу, что тот перепутал «честного, простого и прямого» Якова Николаевича с каким-нибудь однофамильцем — Толстых на Руси пруд пруди! Но Маркс не поверил.
Во время революции 1848 года новое революционное правительство обнаружило документы, свидетельствующие о возможных контактах французской полиции с Третьим отделением, которые шли через Толстого. Одновременно бывший посланник России в Турине и Штутгарте Обресков, «воодушевленный» революцией, опубликовал во французской прессе «анекдот» о Толстом, в котором разгласил доверенные ему по службе сведения о подлинной роли «литературного генконсула» при посольстве.
Но скоро революция пошла на убыль, в госучреждения Франции вернулись старые друзья и контакты Толстого, обстановка вокруг него нормализовалась, а его деятельность на поприще «плаща и кинжала» возобновилась с удвоенной энергией. С марта по декабрь 1848 года он вел постоянное визуальное наблюдение за событиями на улицах Парижа, широко и смело использовал имевшуюся у него на связи агентуру и в результате снабжал Петербург подробной и достоверной информацией о положении в стране. Он чуть ли не ежедневно отправлял в Россию кодированные депеши, задействовав дополнительный канал связи через Брюссель (парижский канал перлюстрировался и был ненадежен). В марте 1848 года Толстой представил в Петербург список нового республиканского правительства Франции, снабдив его подробными характеристиками, за ним последовали материалы о расстановке политических сил в парламенте, а накануне военных действий России в Венгрии он направил обзор по французской армии с данными о ее численном составе и дислокации до батальона включительно, о ее вооружении, материальной части, бюджете и настроениях. Я. Н. Толстой точно и заранее спрогнозировал приход к власти Луи Бонапарта (Наполеона III).