Концентрируясь на борьбе с «красной» угрозой, Орлов наносил удары и по «белым» группировкам и отдельным эмигрантским деятелям, вредившим, на его взгляд, общему делу реставрации старого строя в России. В ответ и в самого Орлова летели критические стрелы, в отношении его предпринимались акции устрашения и погружения в нищету.
Досталось Орлову и от фашистов, коих он считал определенным сортом коммунистов. Итог был печален. По некоторым сведениям, в 1940 году гестапо арестовало его в Брюсселе, вывезло в Берлин, где и ликвидировало.
Собранный за много лет архив с данными на деятелей Коминтерна, сотрудников и агентов советских органов безопасности и военной разведки, видимо, не сохранился, поскольку некому было собрать его воедино — растащили или уничтожили бывшие соратники и знакомые, не видевшие реальной, пусть даже исторической ценности орловской коллекции.
Осталась лишь изданная на двух иностранных языках биографическая книга «Убийцы, фальсификаторы и провокаторы».
На родине же в 20-е годы появились статьи в газетах и журналах, почти с одним и тем же заголовком — «Фальсификатор». Напрочь связала его советская пропаганда с разного рода подделками документов, производимыми тогда во множестве белоэмигрантами и спецслужбами. Орлов стал одним из основных антигероев в насквозь идеологизированной, но с претензией на научность и объективность книге ветерана-коминтерновца Эрнста Генри (он же Ростоцкий) «Профессиональный антикоммунизм». Политиздат постарался и выдал на-гора огромный по теперешним меркам тираж — 100 тысяч экземпляров.
Те, кому пришлось прочитать сей труд (по интересу или по служебной обязанности), наверное, сойдутся во мнении, что от фальшивок, приписываемых Орлову, он тоже не ушел далеко. Однако образ законченного негодяя, агента всех без исключения шпионских штабов и контрразведок, врага своего отечества (а не существовавшего режима) Эрнсту Генри не удался. Предвзятость в изложении, однобокость и малое разнообразие источников не позволили «развенчать» заклятого противника Коммунистического Интернационала. Могли бы стоявшие за спиной Генри люди подбросить автору выдержки из сообщений советских агентов, знавших Орлова не понаслышке. А они давали иные характеристики «человеку отчаянной жизни». К примеру, такие: «В большинстве, зная многих лиц, ведущих политический розыск в белом стане, зная их ограниченность, корыстолюбие и инертность, зная отлично Орлова, нахожу, что это один из самых работоспособных, находчивых, подвижных и опытных работников противного лагеря».