При новом режиме прежняя деятельность Толстого по оказанию выгодного для России влияния на общественный климат Франции стала невозможной и агент переключился на добычу политической информации. В 1850 году он стал посылать тревожные сообщения о росте русофобии в Великобритании, озабоченной усилением позиций России в Европе и Азии, в письме от 27 марта он впервые упомянул о намерениях англичан уничтожить русский флот и сжечь Севастополь. Сменивший графа Бенкендорфа граф А. Ф. Орлов интереса к работе и информации Я. Н. Толстого, к сожалению, не проявлял… А сведения, добываемые агентом-разведчиком, шли между тем прямо из министерств, сената и парламента Франции. Прошел целый год, прежде чем в Петербурге поняли серьезность положения России. Крымская война была уже не за горами…
В 1854 году Я. Н. Толстой заблаговременно отошел на запасные позиции и переехал в Бельгию: он был уверен, что разрыв дипломатических отношений Франции с Россией был вопросом времени. Здесь он активно сотрудничал со своим информатором, правительственным чиновником Вальферсом, добывавшим ценную и актуальную информацию о Франции. Деятельность Толстого в Севастопольскую кампанию — особая глава. Еще в конце 40-х годов ему удалось завербовать некоего Паскаля, секретаря французского военного теоретика генерала Жомини. При Наполеоне III Паскаль стал его военным секретарем и наиболее осведомленным агентом России в окружении императора! Сколько бумаг из французского штаба и правительства оказалось в это время в Петербурге!
После восстановления мира в 1856 году Я. Н. Толстой вернулся в Париж. Ему исполнилось уже 65 лет, заниматься разведкой становилось все трудней, и тогда он возобновил отставленные в сторону обязанности «генерального консула по литературе». В июне 1866 года он в чине тайного советника попросился в отставку и получил пенсию две тысячи рублей в год, но на «заслуженном отдыхе» пробыл недолго и 15 февраля 1867 года в возрасте 75 лет в полном одиночестве скончался в Париже.
В качестве эпитафии на его могиле на Монмартрском кладбище можно было бы выгравировать следующие слова, принадлежащие академику Е. В. Тарле:
«…не заурядный шпион из иностранного отдела Третьего отделения, а человек, которому в молодости Пушкин посвящал стихи, который много общался со многими выдающимися современниками в России и за границей и которого они считали человеком, подходящим к общению с ними по своему умственному уровню. Яков Толстой смотрел на свою роль как на лазутчика, пробравшегося во вражеский стан и сигнализирующего оттуда в свой лагерь о поднимающихся опасностях и надвигающихся тучах».