В описи кабинета, составленной после его смерти, значатся, например, такие вещи: «зеркало кругловитое небольшое, в котором кажет большое лицо»; «раковин разных больших и малых 99»; «туфли китайские, плетённые из травы»; «гриб каменный»; «тыква индейская»; «кость мамонтовой головы»; «янтари, в которых есть мушки»; коробочка с «маленькой натуральной змейкой» и тому подобные диковины. Некоторым предметам чиновники даже не могли дать определение и писали просто: «некакой фрукт продолговатый», «два мячика некакого фрукта»… Недаром французский посланник Кампредон, советуя в 1721 г. своему правительству, каким образом завоевать расположение Брюса, подчёркивал, что Яков Вилимович не из тех, кого можно подкупить деньгами, и предлагал использовать его собирательский азарт: «Его королевское величество доставил бы ему большое удовольствие, если бы подарил ему гравированное по приказанию покойного короля собрание эстампов королевских дворцов».
В 1697 г. предприимчивый устюжский мужик В.В. Атласов был послан обследовать камчатские земли. Вернувшись в Москву, он привёз с собой маленького желтокожего человека. Атласов забрал его у камчадалов, которые поведали любопытную историю. Года два назад к их берегу прибило большую лодку с незнакомыми людьми. Непривычные к суровому быту и скудной еде камчадалов, чужеземцы быстро умирали. Остался лишь один. В отчёте, составленном в 1701 г., Атласов отмечал: «А нравом тот полонёник гораздо вежлив и разумен». Когда пленник увидел русских землепроходцев, в которых чувствовалась принадлежность к цивилизованному миру, то «зело плакал» от радости. Чужеземец успешно осваивал русский язык. В Москве удалось наконец выяснить, что это – японец. Он был первым японцем, которого увидела Россия. И даже официальные чины не вполне представляли, где находится его страна и что за люди там живут. Атласов в отчёте именовал его «индейцем». В бумагах же Приказа артиллерии его назвали и того хитрее: «Апонского государства татарин именем Денбей».
А энергичный Пётр уже строил далеко идущие планы. Передав Денбея под опеку Приказа артиллерии, царь повелел: «А как он, Денбей, русскому языку и грамоте изучится, и ему, Денбею, учить своему японскому языку и грамоте робят человек 4 или 5». Насчёт вероисповедания Пётр распорядился Денбея не притеснять: «А о крещении в православную христианскую веру дать ему, иноземцу, на волю и его, иноземца, утешать и говорить ему: как он русскому языку и грамоте навыкнет и русских робят своему языку и грамоте научит – и его отпустят в Японскую землю». Но скорее всего Денбею так и не удалось вернуться к родным берегам. Известно, что он со временем крестился под именем Гавриила, а школа переводчиков с японского действовала в Москве до 1739 г.