Думай медленно — предсказывай точно. Искусство и наука предвидеть опасность (Тетлок, Гарднер)

Почему из множества других знаменитых экспертов, которые могли бы точно так же проиллюстрировать мою мысль, я выделил именно Тома Фридмана? Выбор определялся простой формулой: статус эксперта x сложность точного определения его/ее предсказаний x значение его/ее работ для мировой политики. У кого больше всего баллов, тот и выиграл. У Фридмана высокий статус, его предсказания о вариантах развития будущего крайне неопределенны, а работы имеют большое значение для геополитического прогнозирования. Выбор Фридмана ни в коем случае не продиктован моим неприятием его редакторских взглядов. На самом деле в последней главе я демонстрирую осторожное восхищение некоторыми аспектами его работы. При всей раздражающей увертливости его как прогнозиста он являет собой ценнейший источник предсказательных вопросов.

И опять-таки: я не хочу подчеркнуть, что Фридман чем-то отличается от других. Практически каждый политический интеллектуал на планете играет по одним и тем же неписаным правилам. Все они делают бесконечные заявления о том, что нас ожидает, но при этом формулируют предсказания столь обтекаемо, что проверить их невозможно. Как прикажете понимать такие интригующие заявления, как «Есть вероятность, что экспансия НАТО вызовет яростный отпор со стороны русского медведя и это даже может привести к новой холодной войне»? Или «„Арабская весна“ может означать, что дни зарвавшейся автократии в арабском мире сочтены»? Ключевые фигуры этих семантических танцев — слова «вероятно», «возможно», «может» — не снабжены инструкциями по интерпретации. «Может» может означать что угодно: от 0,0000001 вероятности, что «в ближайшие сто лет в нашу планету врежется большой астероид», до равного семи десятым шанса, что «Хиллари Клинтон выиграет президентскую гонку в 2016 году». Такие предсказания невозможно проверить на точность; кроме того, у экспертов появляется бесконечная свобода действий — они могут требовать признания, когда что-то действительно происходит («Я же сказал, что оно может произойти!»), и избежать обвинений, когда прогноз не оправдывается («Я всего лишь сказал, что это может произойти»). Мы встретимся со множеством примеров подобной лингвистической эквилибристики.

Словно мы коллективно решили, что стартовый состав команды «Янкиз» важнее риска геноцида в Южном Судане. Конечно, аналогия между бейсболом и политикой несовершенна. Бейсбольные матчи повторяются снова и снова на одних и тех же условиях. Политика — причудливая игра, правила которой постоянно меняются и оспариваются. Поэтому попасть в цель, делая политические прогнозы, гораздо сложнее, чем собрать бейсбольную статистику. Но «сложнее» не значит «невозможно».

Против этой аналогии существует еще одно возражение. Эксперты занимаются не только прогнозированием: они рассматривают события в исторической перспективе, предлагают объяснения, поддерживают ту или иную политическую силу и задают провокационные вопросы. Все это правда, но эксперты также делают много имплицитных и эксплицитных прогнозов. Например, все приводимые ими исторические аналогии содержат в себе имплицитные прогнозы: аналогия с Мюнхенским соглашением вновь и вновь поддерживает прогноз с условием «Если попытаться умиротворить страну Х, ее аппетиты резко возрастут», а аналогия с Первой мировой войной подкрепляет утверждение «При использовании угроз происходит эскалация конфликта». Я утверждаю, что логически невозможно поддерживать какую-то политическую сторону (чем эксперты занимаются постоянно) и не делать предположений, что с нами случится, если мы последуем по тому или иному политическому пути. Покажите мне эксперта, который не делает хотя бы имплицитных прогнозов, и я покажу вам человека, растворившегося в неуместности, как дзен-буддист — в созерцании.

См. James Gleick. Chaos: Making a New Science. New York: Viking, 1987; Donald N. McCloskey. History, Differential Equations, and the Problem of Narration // History and Theory. 1991. № 30. P. 21–36.

Пер. с фр. А. И. В. под ред. А. К. Власова. — Примеч. ред.

Pierre-Simon Laplace. A Philosophical Essay on Probabilities / trans. Frederick Wilson Truscott and Frederick Lincoln Emory. New York: Dover Publications, 1951. P. 4.

Однако даже историки, люди, которые должны бы быть просвещеннее многих, продолжают делать громкие заявления — как, например, оксфордский профессор Маргарет Макмиллан (процитировано в колонке Морин Дауд в New York Times от 7 сентября 2014 года): «XXI век станет серией очаговых, очень жестоких войн, которые будут бесконечно тянуться, ни к чему не приводя, и творить ужасные вещи с гражданским населением», — хорошее подведение итогов недавнего прошлого, но вряд ли точный прогноз на состояние мира в 2083 году. Книги из серии «Следующие сто лет: прогноз на XXI век» продолжают становиться бестселлерами. Автором вышеупомянутого произведения является, между прочим, некий Джордж Фридман, генеральный директор фирмы Stratfor, которая предоставляет геополитические прогнозы зажиточным клиентам как в публичном, так и в частном секторе. Всего через два года после публикации этой книги произошла «Арабская весна», которая перевернула вверх тормашками весь Ближний Восток, — однако ни одного упоминания о ней я в книге Фридмана не нахожу, и оттого его прогнозы на остальные 98 лет выглядят очень сомнительно. Фридман также является автором вышедшей в 1991 году книги «Грядущая война с Японией», в которой предрекается война Японии и США. Однако мы все еще не получили возможности убедиться в точности этого прогноза.

Чтобы найти островки профессионализма в море недобросовестности, обратитесь к следующим книгам, посвященным концепциям и способам прогнозирования: Nate Silver. The Signal and the Noise: Why So Many Predictions Fail — but Some Don’t. New York: Penguin Press, 2012; Principles of Forecasting: A Handbook for Researchers and Practitioners / ed. J. Scott Armstrong. Boston: Kluwer, 2001; Bruce Bueno de Mesquita. The Predictioneer’s Game. New York: Random House, 2009. Увеличить количество этих островков, как выяснилось, сложно. Часто в книгах практически не встречается переход от учебных статистических концепций (таких как регрессия к среднему значению) к проблемам, с которыми студенты могут встретиться позже в жизни. См.: D. Kahneman and A. Tversky. On the Study of Statistical Intuitions // Cognition. 1982. № 11. P. 123–141. Такое положение вещей крайне усложняет попытки проекта «Здравое суждение» научить людей думать как суперпрогнозисты.

Bill Gates: My Plan to Fix the World’s Biggest Problems // Wall Street Journal. 2013. January 25. http://www.wsj.com/articles/SB 10001424127887323539804578261780648285770.

Intelligence Analysis: Behavioral and Social Scientific Foundations / eds. B. Fischhoff and C. Chauvin. Washington, DC: National Academies Press, 2011; Committee on Behavioral and Social Science Research to Improve Intelligence Analysis for National Security, Board on Behavioral, Cognitive, and Sensory Sciences, Division of Behavioral and Social Sciences and Education, National Research Council // Intelligence Analysis for Tomorrow: Advances from the Behavioral and Social Sciences. Washington, DC: National Academies Press, 2011.

P. E. Tetlock, B. Mellers, N. Rohrbaugh, and E. Chen. Forecasting Tournaments: Tools for Increasing Transparency and Improving the Quality of Debate // Current Directions in Psychological Science. 2014. P. 290–295.

Аарон Браун, в беседе с автором, 30 апреля 2013 года.

Paul Meehl. Clinical Versus Statistical Prediction. Minneapolis: University of Minnesota Press, 1954.

Stephen Baker. Final Jeopardy!. Boston: Houghton Mifflin Harcourt, 2011. P. 35.

Дэвид Феруччи, в беседе с автором, 8 июля 2014 года.

Archibald L. Cochrane with Max Blythe. One Man’s Medicine: An Autobiography of Professor Archie Cochrane. London: British Medical Journal, 1989.

Там же. P. 171.

Там же.

Druin Burch. Taking the Medicine: A Short History of Medicine’s Beautiful Idea, and Our Difficulty Swallowing It. London: Vintage, 2010. P. 4.

Там же. P. 37.

Ira Rutkow. Seeking the Cure: A History of Medicine in America. New York: Scribner, 2010. P. 98.

Там же. P. 94.

Burch. Taking the Medicine. P. 158.

Ричард Фейнман. Напутственная речь выпускникам в Калифорнийском технологическом институте. Пасадена, 1974 год.

Richard Feynman. The Meaning of It All: Thoughts of a Citizen-Scientist. New York: Basic Books, 2005. P. 28.

Там же. P. 27.

Cochrane with Blythe. One Man’s Medicine. P. 46, 157, 190, 211.

Daniel Kahneman. Thinking, Fast and Slow. New York: Farrar, Straus and Giroux, 2011. P. 209.

Если вы знакомы с когнитивной психологией, то знаете, что школа мысли, исследующая эвристику и искажения, не раз оспаривалась. Скептики впечатлялись тем, как удивительно точно может оперировать система 1. Люди автоматически и, похоже, самым оптимальным образом синтезируют бессмысленные фотоны и звуковые волны в язык, который мы наполняем значением (Steven Pinker. How the Mind Works. New York: Norton, 1997). До сих пор ведутся споры о том, как часто эвристика системы 1 вводит нас в заблуждение (Gerd Gigerenzer and PeterTodd. Simple Heuristics that Make Us Smart. New York: Oxford University Press, 1999) и как сложно преодолеть иллюзии ЧВТИЕ с помощью тренировок или стимулов (Philip Tetlock and Barbara Mellers. The Great Rationality Debate: The Impact of the Kahneman and Tversky Research Program // Psychological Science 13. 2002. № 5. P. 94–99). Психологии еще только предстоит сложить все части этой мозаики. Однако, по моему мнению, перспектива эвристик и искажений дает самое лучшее базовое представление об ошибках, которые делают прогнозисты в реальном мире, и представляет собой самое лучшее руководство по снижению количества ошибок в прогнозах.

Michael Gazzaniga. The Mind’s Past. Berkeley: University of California Press, 1998. P. 24–25.

Ziva Kunda. Social Cognition: Making Sense of People. Cambridge, MA: MIT Press, 1999.

Kahneman. Thinking, Fast and Slow. P. 212.

Можно видеть, как это работает в ходе выборов. Когда действующий президент претендует на второй срок, многие избиратели задаются вопросом: «Хорошо ли он выполнял свою работу в первый срок?» Если серьезно задуматься, то это сложный вопрос. Он требует обзора всего, что президент сделал и не сделал в течение четырех лет, и более того — размышлений о том, как могли бы обстоять дела, если бы руководителем страны был другой человек. Даже для журналиста, освещающего деятельность Белого дома, ответ на этот вопрос потребовал бы много работы, а для человека, который близко не следит за политикой, это и вовсе непосильная задача. Неудивительно, что избиратели используют маневр «заманить и подменить». Избиратели судят о проделанной президентом работе за последние четыре года, руководствуясь тем, довольны ли они экономической ситуацией — местной и во всей стране — в последние шесть месяцев. Таким образом, вопрос «Хорошо ли президент поработал за последние четыре года?» заменяется на «Считаю ли я, что страна движется в общем и целом в правильном направлении в последние полгода?» Очень немногие избиратели признают при этом: «Мне очень сложно оценивать работу президента, поэтому я воспользуюсь вопросом-подменой». Но очень многие из нас именно так и поступают подсознательно. См., например, работу, представленную на ежегодной встрече Американской ассоциации политических наук в Чикаго в 2004 году: Christopher Achen and Larry Bartels. Musical Chairs: Pocketbook Voting and the Limits of Democratic Accountability.

Daniel Kahneman and Gary Klein. Conditions for Intuitive Expertise: A Failure to Disagree // American Psychologist 64. 2009. № 6. September. P. 515–526.

W. G. Chase and H. A. Simon. The Mind’s Eye in Chess / ed. W. G. Chase // Visual Information Processing. New York: Academic Press, 1973.

Kahneman and Klein. Conditions for Intuitive Expertise. P. 520.

Там же.

Nigel Farndale. Magnus Carlsen: Grandmaster Flash // Observer. 2013. October 19.

Peggy Noonan. Monday Morning // Wall Street Journal. 2012. November 5. http://blogs.wsj.com/peggynoonan/2012/11/05/monday-morning/.

Mark Spoonauer. The Ten Worst Tech Predictions of All Time // Laptop. 2013. August 7. blog.laptopmag.com/10-worst-tech-predictions-of-all-time.

Bryan Glick. Timing Is Everything in Steve Ballmer’s Departure — Why Microsoft Needs a New Vision // Computer Weekly Editor’s Blog. 2013. August 27. http://www.computerweekly.com/blogs/editors-blog/2013/08/timing-is-everything-in-steve.html.

«Starr Report: Narrative». Nature of President Clinton’s Relationship with Monica Lewinsky. Washington, DC: US Government Printing Office, 2004. Footnote 1128.

Sameer Singh. Tech-Thoughts. 2013. November 18. http://www.tech-thoughts.net/2013/11/smartphone-market-share-by-countryq3-2013.html#.VQM0QEJYW-Q.

Barry Ritholtz. 2010 Reminder: QE = Currency Debasement and Inflation // The Big Picture. 2013. November 15. http://www.ritholtz.com/blog/2013/11/qe-debasement-inflation/print/.

Похожая проблема возникает с предсказанием Стива Балмера относительно iPhone. Данные о доле iPhone, которые я предоставил, относятся к ситуации на рынке через 6 лет после запуска iPhone, а через семь лет это число было еще больше. Так что, в принципе, Балмер мог бы возразить, что в его предсказании подразумевался срок два-три года или пять лет. Это, по существу, способ защиты, противоположный формулировке «погодите, все еще будет». Пусть этот аргумент тенденциозен и своекорыстен, но его можно использовать, что приведет именно к тем препирательствам, которых мы хотим избежать при оценке точности прогноза.

Jonathan Schell. The Fate of the Earth and The Abolition. Stanford, CA: Stanford University Press, 2000. P. 183.

Brian Till. Mikhail Gorbachev: The West Could Have Saved the Russian Economy // Atlantic. 2001. June 16. http://www.theatlantic.com/international/archive/2011/06/mikhail-gorbachev-the-west-could-have-saved-the-russian-economy/240466/.

Sherman Kent. Estimates and Influence // Studies in Intelligence. 1968. Summer. P. 35.

Sherman Kent. Words of Estimative Probability / ed. Donald P. Steury // Sherman Kent and the Board of National Estimates. Washington, DC: History Staff, Center for the Study of Intelligence, CIA, 1994. P. 134–135.

Там же. P. 135.

Richard E. Neustadt and Ernest R. May. Thinking in Time. New York: Free Press, 1988.

Sherman Kent and the Profession of Intelligence Analysis. Center for the Study of Intelligence, Central Intelligence Agency. 2002. November. P. 55.

Там же.

David Leonhardt. When the Crowd Isn’t Wise // New York Times. 2012. July 7.

Henry Blodget. Niall Ferguson: Okay, I Admit It — Paul Krugman Was Right // Business Insider. 2012. January 30. http://www.businessinsider.com/niall-ferguson-paul-krugman-was-right-2012-1.

Результат Брайера «правильный», потому что побуждает прогнозиста высказывать свое настоящее мнение, а не подстраивать его под политические требования. Прогнозист, которого заботит только результат Брайера, выскажет свое искреннее мнение, что, допустим, есть 4 % вероятности, что Иран проведет ядерные испытания в 2015 году; но прогнозист, который переживает, что его назначат козлом отпущения, может поднять процент вероятности, чтобы не допустить возможных обвинений впоследствии — «но вы же говорили, что вероятность всего 4 %!». Результат Брайера предусматривает потери в репутации из-за самоуверенности, и они соответствуют финансовым потерям, которые несут игроки, допустившие такие же ошибки. Если вы не готовы сделать ставку в соответствии с вашим расчетом вероятности, пересчитайте вероятность. Glenn W. Brier. Verification of Forecasts Expressed in Terms of Probability // Monthly Weather Review 78. 1950. № 1. P. 1–3; Robert L. Winkler. Evaluating Probabilities: Asymmetric Scoring Rules // Management Science 40. 1994. № 11. P. 1395–1405.

Ларри Кудлов подходит под определение ежа в EPJ, но он не был анонимным участником этого проекта. И я определенно выбрал его не потому, что он консерватор. EPJ предоставляет много примеров ежей левого толка. На самом деле, как я продемонстрировал в EPJ, многие ежи, как левые, так и правые, когда их называют ежами, воспринимают это как комплимент, а не оскорбление. Они более резкие и решительные, чем уклончивые лисы. Помните битву партийных пиарщиков во время президентских выборов в 2004 году? Был ли Джон Керри гибким тактиком или скользким оппортунистом? Был ли Джордж У. Буш принципиальным лидером или догматичным тупицей? Лиса и еж — подвижные ярлыки.

Larry Kudlow. Bush Boom Continues // National Review. 2007. December 10. http://nationalreview.com/article/223061/bush-boom-continues/larry-kudlow.

Larry Kudlow. Bush’s ‘R’ is for ‘Right’ // Creators.com. 2008. May 2. http://www. creators.com/opinion/lawrence-kudlow-bush-s-r-is-for-right.html.

Larry Kudlow. If Things Are So Bad… // National Review. 2008. July 25. 2008.

Энни Дьюк, в беседе с автором, 30 апреля 2013 года. Это не просто особенность игроков в покер. Представьте себе, что вы страдаете от бессонницы, не спали нормально несколько дней и в итоге вышли из себя и накричали на коллегу. Затем вы извиняетесь. Что этот инцидент говорит о вас? Он говорит о том, что вам нужен сон. Ни о чем более. Но представьте, что вы видите человека, который срывается, кричит, затем извиняется и объясняет, что страдает от бессонницы и не спал нормально уже несколько дней. Что этот инцидент говорит об этом человеке? По идее, он должен сказать о нем то же, что и о вас, но десятилетия исследований показывают, что вы сделаете другой вывод. Вы подумаете, что этот человек — придурок. Психологи называют это фундаментальной ошибкой атрибуции. Мы прекрасно знаем, что некоторые факторы, такие как бессонница, могут влиять на наше поведение, и мы справедливо относим наше поведение к этим факторам, но регулярно не делаем такое же допущение относительно других людей, а вместо этого считаем, что их поведение отражает их сущность. Почему этот парень повел себя как придурок? Потому что он и есть придурок. Это очень мощное предубеждение. Если студентку попросят произнести речь в защиту кандидата от республиканцев, наблюдатель сочтет, что она поддерживает Республиканскую партию, даже если студентка просто выполнила задание, причем даже в том случае, если наблюдатель — тот самый человек, который дал ей это задание! Посмотреть на вещи извне, с точки зрения других людей очень сложно. См.: Lee Ross. The Intuitive Psychologist and His Shortcomings: Distortions in the Attribution Process / ed. Leonard Berkowitz // Advances in Experimental Social Psychology. Vol. 10 New York: Academic Press, 1977. P. 173–220; Daniel T. Gilbert. Ordinary Personology / eds. Daniel T. Gilbert, Susan T. Fiske, and Gardner Lindzey // The Handbook of Social Psychology. Vol. 2. New York: Oxford University Press, 1998. P. 89–150.

В научных кругах это может быть хорошим карьерным ходом: застолбить провокативно экстремальную позицию по вопросам, в которых истина лежит в вязкой середине. Например, такой вопрос: заложен ли тип мышления в нашей личности, или мы можем его изменять, как меняем социальные роли? Вязко-серединный, но правдивый ответ: это зависит от гибкости человека и от влияния ситуации. Пример: прогнозисты в турнирах IARPA с системой открытого соревнования и публичными турнирными таблицами демонстрировали гораздо меньше излишней самоуверенности, чем участники более раннего проекта EPJ, гарантировавшего участникам анонимность. Один из итогов: разница между лисами и ежами играла гораздо меньше значения в турнирах IARPA.

Официальное слушание Оценки национальной безопасности в Белом доме по вопросу оружия массового разрушения в Ираке, октябрь 2001 года http://fas.org/irp/cia/product/iraq-wmd.html.

Кондолиза Райс в интервью с Вольфом Блитцером, CNN, 8 сентября 2002 года.

Комитет по исследованиям поведенческой и социальной науки с целью улучшения разведывательного анализа для национальной безопасности; Комиссия по поведенческой, когнтивной и сенсорной наукам; Отделение поведенческой и социальной науки и образования; Совет по национальным исследованиям. Intelligence Analysis for Tomorrow: Advances from the Behavioral and Social Sciences. Washington, DC: National Academies Press, 2011.

С точки зрения анализа рентабельности вопрос состоит в том, сколько США должны быть готовы заплатить за создание улучшенной системы определения вероятности, которая снизит риск двухтриллионной «ошибки», скажем, на 20–30 %. Согласно теории ожидаемой стоимости — сотни миллиардов долларов. По этим стандартам, проект «Здравое суждение» — самая выгодная сделка века. Но обратите внимание на то, что слово «ошибка» заключено в кавычки. В 2003 году вторжение в Ирак большинству казалось ошибкой. Но никто не знает, где бы мы сейчас оказались, если бы Саддам Хусейн удержался у власти, или сколько бы мы тратили на национальную безопасность в таком мире. Мое личное предположение: даже в мрачной альтернативной реальности турнир был бы удачной сделкой.

Комиссия по возможностям разведки США относительно оружия массового уничтожения. Report to the President of the United States. Washington, DC. 2005. March 31. P. 155.

Роберт Джервис, в беседе с автором, 27 марта 2013 года.

Комитет по исследованиям поведенческой и социальной науки с целью улучшения разведывательного анализа для национальной безопасности. Intelligence Analysis for Tomorrow. National Academies Press. 2011.

Подбор вопросов в зоне Златовласки был сложной задачей, требовавшей отсеивания слишком легких вопросов (имевших менее 10 или более 90 % вероятности) и неподатливо сложных (нельзя было ожидать, что кто-либо знает на них ответы). В свете вышесказанного команда генерации вопросов Майкла Горовица заслуживает признания.

Заслуга открытия этого приема принадлежит двум коллегам из Университета Пенсильвании: Лайлу Ангару и Джонатану Барону. Лайл несет ответственность за все алгоритмы, задействованные в нашем проекте, за исключением L2E, разработанного Дэвидом Скоттом в Университете Райса.

Дэвид Игнатиус. Слишком много трескотни // Washington Post. 2013. 1 ноября. Игнатиус, должно быть, беседовал с кем-то в правительстве, имеющим доступ к засекреченным источникам.

Там же. РС никогда не оспаривало слова Игнатиуса. Я верю в то, что он прав. На самом деле я готов рискнуть своей репутацией и предположить, что суперпрогнозисты обходили разведывательных аналитиков во все годы, когда их можно было сравнивать.

Настоящая причина, по которой результаты суперпрогнозистов лучше, чем результаты разведывательных аналитиков, неизвестна. Вряд ли дело в том, что суперпрогнозисты умнее или обладают большей широтой мышления. Я подозреваю, что они справились лучше, потому что относятся к прогнозированию как к культивируемому мастерству, в то время как аналитики работают внутри организации, которая воспринимает прогнозирование как побочную деятельность, а не как главное занятие аналитиков. Взять, к примеру, высказывание Томаса Фингара, бывшего председателя Национального совета по разведке: «Предсказания не являются — и не должны являться — целью стратегических аналитиков. <…> Их цель — определить самые важные течения в развитии событий, как они взаимосвязаны, куда они могут направляться, что служит движущей силой процесса и какие знаки могут свидетельствовать об изменении траектории». См.: Thomas Fingar. Reducing Uncertainty: Intelligence Analysis and National Security. Stanford, CA: Stanford University Press, 2011. P. 53, 74.

Мы с Томом Фингаром в 2010 году работали вместе в комиссии Государственного совета по исследованиям, которая убедила РС начать эксперименты в стиле IARPA, чтобы выявить, что именно работает. Том Фингар — мудрый и преданный слуга народа. И его заявление демонстрирует, почему РС вряд ли в ближайшее время займется взращиванием собственных суперпрогнозистов. Но как можно «определить, в каком направлении могут развиваться события», не делая при этом скрытых прогнозов?

Аналитики — не единственные профессионалы, которые отказываются признавать, как наполнена их работа скрытыми прогнозами. Возьмем журналиста Джо Клейна: «Профессор из Уортонской школы Пенсильванского университета хочет прицепить меня к компьютеру и посмотреть, как хорошо я делаю предсказания, — написал Джо Клейн в Time после того, как я пригласил его и других знатоков поучаствовать в турнире прогнозирования. — Спешу избавить его от лишних хлопот. Журналисты отлично себя показывают, когда нужно анализировать прошлое, неплохо описывают настоящее и просто ужасны, когда дело заходит о послезавтрашнем дне. Я прекратил делать предсказания сразу после того, как заверил Джейка Таппера из CNN, что Джорджа У. Буша никогда не выдвинут кандидатом в президенты от республиканцев после того, как он проиграл праймериз в Нью-Гемпшире в 2000-м». См.: http://swampland.time.com/2013/04/11/congress-may-finally-do-a-budget-deal/.

Со всем уважением к Клейну — а я очень уважаю тех, кто признается в своих предсказательных провалах, — он не прав. Он не прекратил делать предсказания. Он просто перестал признавать их предсказаниями. «Разве не интересно, что даже более экстравагантные военные угрозы Северной Кореи не привлекают большого интереса СМИ в США? — писал Клейн незадолго до того, как объявил, что прекратил делать предсказания. — Никто на самом деле не ожидает, что начнется война. Но если это произойдет? Если Ким со своими угрозами атаковать как Южную Корею, так и США зайдет слишком далеко и не сможет взять свои слова обратно? Это маловероятно, но не невозможно». См.: http://swampland.time.com/2013/03/29/the-kim-who-cried-wolf/.

Так вот, «маловероятно, но не невозможно» — это предсказание. И подобных высказываний полно в других статьях Клейна, как и в работах любого другого эксперта. Как и в мыслях вообще кого угодно. Все мы делаем предсказания, причем постоянно.

Вывод: очень сложно научиться делать что-то лучше, если ты даже не осознаешь, что делаешь это.

Ellen Langer. The lllusion of Control // Journal of Personality and Social Psychology 3. 1975. № 2. August. P. 311–328.

Некоторые произведения в этом жанре — просто вопиющие экземпляры дурновкусия, как, например, Radical E — книга, которая призывала предпринимателей следовать примеру таких моделей, как корпорации Nortel и Enron, и была опубликована за 8 месяцев до банкротства последней. Но другие примеры опознать сложнее. Отсутствие у них предсказательной силы может оставаться незамеченным в течение десятилетий, даже на занятиях в лидирующих бизнес-школах. В 1994 году Джим Коллинз и Джерри Поррас написали «Построено на века: успешные привычки провидческих компаний» (Built to Last: Successful Habits of Visionary Companies), в которой исследовалась история 18 образцовых компаний и на основе этого исследования была разработана «отличная модель для компаний, которые будут долгое время процветать». Эта книга пользовалась большой популярностью и заслужила много похвал. Однако, как заметил профессор по бизнесу Фил Розенвейг, если бы Коллинз и Поррас были правы, мы бы как минимум могли ожидать, что 18 описанных компаний будут продолжать успешную деятельность. Коллинз и Поррас закончили исследование в 1990 году, и Розенвейг проверил, как обстояли дела у этих компаний в течение десяти лет с того момента. «Вы бы получили больше прибыли, если бы вложили деньги в паевой фонд, чем в провидческие компании Коллинза и Порраса». См.: Phil Rosenzweig. The Halo Effect… and the Eight Other Business Delusions That Deceive Managers. New York: Free Press, 2014. P. 98. И снова на сцене шимпанзе, играющий в дартс.

Степень корреляции между ростом отца и сына определяет, настолько вам нужно сдвинуть свое предсказание роста сына в сторону среднего арифметического роста в популяции (173 см). Если бы корреляция была идеальной — 1,0, мы бы основывали предсказание исключительно на росте отца (никакой регрессии к среднему значению). Если бы корреляция была равна 0, мы бы сдвинули предсказание в сторону среднего, не обращая внимания на рост отца. В нашем особом случае корреляция 0,5 — и мы поступим правильно, если сдвинем предсказание на 50 % к среднему значению.

Michael J. Mauboussin. The Success Equation: Untangling Skill and Luck in Business, Sports, and Investing. Boston: Harvard Business Review Press, 2012. P. 73.

http://fivethirtyeight.com/features/the-conventional-wisdom-on-oil-is-always-wrong/.

И приблизительно 90 % всех «активных» суперпрогнозистов, отвечавших как минимум на 50 вопросов за год, оказались в числе 20 % высшей категории, так что если они и падают, то не совсем уж низко. Это подразумевает, что соотношение мастерство/удача для суперпрогнозистов может быть выше, чем для обычных прогнозистов. Однако точное определение этого соотношения может оказаться непростой задачей. Величины варьируются в зависимости от отдельных суперпрогнозистов, периодов истории и типа вопросов. Если бы я рискнул предположить, то для активных суперпрогнозистов за последние четыре года это соотношение составляет как минимум 60⁄40 и, возможно, может доходить до такого максимума, как 90⁄10.

Сэнфорд Силлман, в беседе с автором, 15 февраля 2013 и 19 мая 2014 года.

B. A. Mellers, L. Ungar, K. Fincher, M. Horowitz, P. Atanasov, S. Swift, T. Murray, and P. Tetlock. The Psychology of Intelligence Analysis: Drivers of Prediction Accuracy in World Politics // Journal of Experimental Psychology: Applied 21. 2015. № 1. March. P. 1–14; B. A. Mellers, E. Stone, T. Murray, A. Minster, N. Rohrbaugh, M. Bishop, E. Chen, J. Baker, Y. Hou, M. Horowitz, L. Ungar, and P. E. Tetlock. Identifying and Cultivating ‘Superforecasters’ as a Method of Improving Probabilistic Predictions // Perspectives in Psychological Science. Forthcoming 2015.

Задание взято из Анкеты пригодности к прогнозированию, разработанной Грегом Митчеллом и Фредом Освальдом.

Анализ был заказан директором ЦРУ. В заключении говорилось, что если Штаты проиграют войну Вьетнаму, то это им дорого обойдется, но ужасные последствия, в которые верили политики, там не упоминались — и это был верный прогноз. Директор вручил его президенту Джонсону, но, поскольку полмиллиона солдат уже завязли в тропических болотах, Джонсону он не понравился. Он никогда никому об этом отчете не рассказывал. Макнамара узнал о его существовании только десятилетия спустя.

Robert McNamara. In Retrospect. New York: Vintage, 1996. P. 33.

Daniel J. Levitin. The Organized Mind: Thinking Straight in the Age of Information Overload. New York: Dutton, 2014.

Суперпрогнозисты считают, что метод Ферми, требующий от нас мужества совершать ошибки, — жизненно важный элемент их занятий. Представьте себе суперпрогнозиста, выступающего под псевдонимом Сапожник. Он работает инженером программного обеспечения в Вирджинии и почти ничего не знает о Нигерии. В 2012 году его спросили, вступит ли нигерийское правительство в официальные переговоры с группой джихадистов «Боко Харам». Он начал со взгляда снаружи и рассчитал процент успеха прошлых попыток вести переговоры с террористическими группами вообще и «Боко Харам» в частности. Он вывел среднее из двух своих подсчетов (0 % успеха переговоров с «Боко Харам» и 40 % успеха переговоров с повстанцами вообще). Затем он переключился на взгляд изнутри и проанализировал возможности каждой стороны. Правительство хочет сохранить хорошие отношения с умеренными исламистами, которые стремятся быть посредниками между правительством и террористами. «Боко Харам» также могла быть заинтересована в том, чтобы по крайней мере появиться на переговорах. Он также учел множество слухов о незаконченных переговорах. Но он взвесил эти факты и радикализм «Боко Харам» и сделал предположение о 30 %-ной вероятности. После этого он соединил взгляд снаружи и изнутри, получил 25 %-ную вероятность и рассчитал уменьшение этой цифры по мере приближения к финальной дате. Результат расчетов, основанных на всех этих, возможно, ошибочных выводах: высшие 10 % результата Брайера при ответе на вопрос, который получил массу ложноположительных ответов из-за слухов о незаконченных переговорах.

Или представьте себе суперпрогнозиста Регину Джозеф, которая рассмотрела вопрос о риске еще одного взрыва эпидемии птичьего гриппа в Китае. Регина имела опыт работы аналитиком по политическим рискам, также ее разнообразная карьера включала в себя работу в электронных СМИ и тренировку олимпийской женской сборной США по фехтованию, но с эпидемиологией она никогда раньше не сталкивалась. Она также начала со взгляда снаружи: как часто число пострадавших от птичьего гриппа преодолевало пороговую величину (около 80 %)? Однако сезон гриппа был уже на ^>1/_>4 завершен, так что она снизила процент до 60. Затем она приступила к взгляду изнутри, обратила внимание на улучшившуюся политику народного здравоохранения и систему предупреждения. Все это заставило ее снизить процент до 40 — и со временем она еще сильнее его снизила. Окончательный результат не блестящий, но лучше, чем у 85 % прогнозистов.

Или рассмотрим пример Велтона Чэнга, отставного офицера с боевым опытом в Ираке. Он начал рассматривать вопрос о вероятности взятия Алеппо Свободной сирийской армией в 2013 году со взгляда снаружи: сколько времени потребуется нападающему, даже превосходящему противника по военной мощи, чтобы занять такое крупное урбанистическое образование, как Алеппо? Короткий ответ: от 10 до 20 % базовой вероятности успеха. Затем Велтон обратился ко взгляду изнутри, обнаружил, что ССА не превосходит противника по военной мощи, — и еще сильнее снизил процент вероятности. Итог: его результат Брайера по этому вопросу попал в лучшие 5 %.

Поразительно, как много приблизительных прикидок стоят за очень даже хорошими прогнозами. Перед нами не стоит выбора, делать грубые допущения или нет, мы выбираем, делать ли их явно или тайно.

Билл Флэк, в беседе с автором, 5 августа 2014 года.

Peggy Noonan. The Presidential Wheel Turns // Wall Street Journal. 2013. April 26.

Amos Tversky and Daniel Kahneman. Judgment Under Uncertainty: Heuristics and Biases // Science 185 (4157). P. 1124–1131.

Брюс Буэно де Мескита в The Predictioneer’s Game (New York: Random House, 2009) предлагает элегантный, основанный на теории игр подход к сбору оценок вероятности при взгляде изнутри. Задайте конкретные вопросы: «Кто ключевые игроки?», «Насколько каждый из них могущественен?», «Чего хочет каждый из них?», «Насколько они этого хотят?». Затем протестируйте возможные комбинации. Буэно де Мескита также благоразумно использует мудрость толпы. Он обычно просит множество экспертов ответить на каждый из вопросов, которые предполагает взгляд изнутри. Насколько его техника сочетается с техникой суперпрогнозистов — неизвестно, но в принципе это вполне познаваемо.

Ответ на вопрос в итоге получился утвердительным, так что можно сказать, что результат Дэвида был бы еще лучше, если бы он просто использовал Перспективу «за кончиком носа». Легкость, с которой можно было вообразить еще один террористический акт сразу после инцидента с Charlie Hebdo, конвертировалась бы в высокую степень вероятности, и это было бы верно, но суперпрогнозисты демонстрируют такие хорошие результаты, отвечая на разные вопросы, оттого что подвергают интуицию системы 1 тщательной проверке системой 2. По подсказке внимательного читателя Дэвид предложил следующее исправление: если ежедневная вероятность атаки 1,8/365, то вероятность атаки в следующие 69 дней будет 1,0– (1,0–1,8/365)χ69, что составляет 0,29 (а не 0,34).

Stefan Herzog and Ralph Hertwig. The Wisdom of Many in One Mind // Psychological Science 20. 2009. № 2. February. P. 231–237.

George Soros. Soros on Soros: Staying Ahead of the Curve. New York: Wiley, 1995.

Исследователи часто используют систему кодирования интегративной комплексности для оценки этого образа мышления, основанного на схеме теза — антитеза — синтез (система была разработана Питером Сьюдфелдом, моим первым наставником). Один из основных выводов заключается в том, что интегративно-комплексные мыслители более устойчивы к предрассудкам системы 1. См.: P. E. Tetlock and J. I. Kim. Accountability and Judgment in a Personality Prediction Task // Journal of Personality and Social Psychology 52. 1987. P. 700–709; P. E. Tetlock, L. Skitka, and R. Boettger. Social and Cognitive Strategies of Coping with Accountability: Conformity, Complexity, and Bolstering // Journal of Personality and Social Psychology 57. 1989. P. 632–641. Однако есть ситуации, в которых они оказываются в невыгодном положении. См.: P. E. Tetlock and R. Boettger. Accountability: A Social Magnifier of the Dilution Effect // Journal of Personality and Social Psychology 57. 1989. P. 388–398; P. E. Tetlock and R. Boettger. Accountability Amplifies the Status Quo Effect When Change Creates Victims // Journal of Behavioral Decision Making 7. 1994. P. 1–23; P. E. Tetlock and A. Tyler. Churchill’s Cognitive and Rhetorical Style: The Debates Over Nazi Intentions and Self-Government for India // Political Psychology 17. 1996. P. 149–170.

Для знакомства с качествами «большой пятерки» и фактором открытости см.: Oliver P. John and Sanjay Srivastava. The Big Five Trait Taxonomy: History, Measurement, and Theoretical Perspectives / eds. Lawrence A. Pervin and Oliver P. John // Handbook of Personality: Theory and Research. 2nd ed. New York: Guilford Press, 1999. P. 102–138; Robert R. McCrae. Social Consequences of Experiential Openness // Psychological Bulletin 120. 1996. № 3. P. 323–337. Степень потребности в когнитивной деятельности и активной непредвзятости коррелирует с общей открытостью новым идеям и впечатлениям.

Лайонел Левин, в беседе с автором, 14 февраля 2013 года.

Леон Панетта, в беседе с автором, 6 января 2014 года.

Настоящая Майя, возможно, тоже мыслит как суперпрогнозист. В своих мемуарах Worthy Fights (New York: Penguin, 2014) Панетта вспоминает, что, когда он попросил офицера, которая была прототипом Майи, сказать, какова, по ее мнению, вероятность того, что в комплексе сооружений находится Усама бен Ладен, она не сказала: «Сто процентов», а быстро и четко ответила: «Девяносто пять процентов».

Mark Bowden. The Finish: The Killing of Osama Bin Laden. New York: Atlantic Monthly Press, 2012. P. 158–162.

Baruch Fischhoff and Wändi Bruine de Bruin. Fifty-Fifty = 50 %? // Journal of Behavioural Decision Making 12. 1999. P. 149–163.

Эта дискуссия поднимает более глубокие вопросы, касающиеся того, как люди используют вероятностные оценки при принятии решений. Классическая модель ожидаемой полезности намекает, что любое изменение в степени вероятности имеет значение, потому что люди умножают вероятность каждого возможного последствия на полезность этого последствия, а затем суммируют скрещенные произведения, чтобы рассчитать общую привлекательность варианта. Если мы делаем упрощающее допущение только одного последствия варианта нападения, то увеличение степени вероятности местонахождения Усамы с 50 до 75 % должно повысить общую привлекательность нападения на 50 %. Более качественная и психологически реалистичная модель известна как выбор на основе аргументов. В этом случае изменение степени вероятности имеет значение только в случае, если фактор в результате становится хорошей причиной что-то сделать или, наоборот, перестает быть таковой. Если Обама пребывал в нерешительности до встречи, его слова «пятьдесят на пятьдесят» после встречи означают, что ему не хватило каких-то аргументов, которые подвинули бы стрелку на его вероятностном циферблате достаточно далеко, чтобы принять решение. См.: Eldar Shafir, Itamar Simonson, and Amos Tversky. Reason-based Choice // Cognition 49. 1993. P. 11–36. Как раз здесь применение ранее описанного метода «экстремации» всех вероятностных суждений в совокупности могло бы сыграть большую роль. В зависимости от разнообразия ракурсов советчиков, оно могло бы сдвинуть срединное суждение советчиков с 75 до, скажем, 90 % — и этого могло бы быть достаточно, чтобы президент сказал: «Ладно, теперь я вижу основания действовать». В этом случае изменения степени вероятности имеют значение только тогда, когда они приводят к пересечению барьера, за которым появляются основания для действия.

Аргументированное развернутое изложение этого вопроса см.: Richard Zeckhauser and Jeffrey Friedman. Handling and Mishandling Estimative Probability: Likelihood, Confidence, and the Search for Bin Laden // Intelligence and National Security 30. 2015. № 1. January. P. 77–99.

Краткое изложение исследования см.: Daniel Kahneman. Thinking, Fast and Slow. New York: Farrar, Straus and Giroux, 2011.

Это неприятие неопределенности лежит в основе парадокса Эллсберга, названного в честь Дэниела Эллсберга, который открыл его в своей дипломной работе задолго до того, как прославился, предав гласности документы Пентагона. В самой простой версии проблемы существует две урны. В одной урне находятся 50 белых камушков и 50 черных камушков. Внутри второй урны смесь белых и черных камушков в неизвестной пропорции. Там может быть 99 белых камушков и 1 черный, может быть 98 белых и 2 черных и т. д., все возможные варианты, включая 1 белый камушек и 99 черных. Теперь вам предстоит тянуть камушек из одной из урн. Если вытянете черный камушек, вы выиграете денежный приз. Так какую же из урн вы предпочтете? Не требуется длительных размышлений, чтобы понять, что шансы вытянуть черный камушек из обоих урн равны. Тем не менее, как показал Эллсберг, люди явно предпочитают первую урну. Урны отличаются неопределенностью. В случае с обеими урнами неизвестно, вытянешь ли ты черный или белый камушек, но в случае с первой урной, в отличие от второй, нет неопределенности относительно ее содержания, и этого достаточно, чтобы она оказалась значительно более предпочитаемым выбором. Неприятие неопределенности даже заставляет людей предпочитать определенность какого-то плохого факта его вероятности. Исследователи продемонстрировали, что люди, которым сделали колостомию, и они знали, что она постоянная, через шесть месяцев чувствовали себя счастливее, чем люди с колостомией, которая могла быть, а могла и не быть постоянной. См.: Daniel Gilbert. What You Don’t Know Makes You Nervous // New York Times. 2009. May 20. http://opinionator.blogs.nytimes.com/2009/05/20/what-you-dont-know-makes-you-nervous/.

J. F. Yates, P. C. Price, J. Lee, and J. Ramirez. Good Probabilistic Forecasters: The ‘Consumer’s’ Perspective // International Journal of Forecasting 12. 1996. P. 41–56.

В книге «Понимать риски» (Risk Savvy. New York: Viking, 2014) психолог Герд Гигеренцер показал, как берлинцы часто неправильно интерпретируют ежедневные прогнозы погоды. Неправильное понимание «30 % вероятности дождя завтра» включает в себя: а) завтра 30 % времени будет идти дождь; б) дождь будет идти над 30 % территории Берлина; в) 30 % синоптиков предсказывают дождь. Понять прогнозы правильно гораздо сложнее: когда метеорологи оценивают погодные условия в районе Берлина в данный момент и подключают к работе свои лучшие модели, то совокупность факторов приводит их к тому, что есть 30 % вероятности того, что завтра будет дождь. Или можно взглянуть на это по-другому, используя компьютерные симуляции Лоренца: если мы прогоним погоду в Берлине тысячу раз, с незначительными поправками на эффект бабочки при ошибочном измерении предыдущих условий, например, ветра и атмосферного давления, то в 30 % компьютерно воссозданных миров будет идти дождь. Неудивительно, что жители Берлина предпочитают более понятные упрощения.

David Leonhardt. How Not to Be Fooled by Odds // New York Times. 2014. October 15.

Роберт Рубин, в беседе с автором, 28 июня 2012 года.

William Byers. The Blind Spot: Science and the Crisis of Uncertainty. Princeton, NJ: Princeton University Press, 2011. P. VII.

Там же. P. 56.

См., например: Samuel Arbesman. The Half-Life of Facts: Why Everything We Know Has an Expiration Date. New York: Current, 2012.

Jacob Weisberg. Keeping the Boom from Busting // New York Times. 1998. July 19.

Роберт Рубин, в беседе с автором.

Прогнозисты или алгоритмы могли бы иметь огромное преимущество, если бы умели предсказывать непредсказуемость (в финансовых терминах — волатильность). Например, экстремирующий агрегационный механизм, который бы «знал», когда нужно сдать назад и умерить прогнозы, мог бы избежать налагаемых взысканий в виде большого результата Брайера, который ждет все экстремизирующие алгоритмы, которые слепо превращают 75 % в, скажем, 90 %. Я не хочу сказать, что суперпрогнозисты овладели этой загадочной наукой. Хотя они обходят обычных прогнозистов в периоды как исторических потрясений, так и спокойствия, в кризисные времена их отрыв сокращается. Я вернусь к этой проблеме в главе 11, когда буду рассказывать о критике, которой Нассим Талеб подверг турниры.

Новички в прогнозировании часто спрашивают: почему просто не сказать — 0,5, «подбрасывание монеты», каждый раз, когда они «ничего не знают» о проблеме? Есть несколько причин. Одна — риск попасть в плен внутренних противоречий. Представьте, что вас спросили, закроется ли индекс фондового рынка Nikkei выше 20 000 к 30 июня 2015 года. Ничего об этом не зная, вы скажете, что вероятность 0,5. А теперь представьте, что вас спросили, закроется ли он выше 22 000, и вы опять говорите — 0,5, или между 20 000 и 22 000, и снова ваш ответ — 0,5. Чем больше возможностей дают вопросы, тем более очевидным становится, что постоянное использование 0,5 приводит к назначению бессвязных вероятностей, которые значительно превысят 1,0. См.: Amos Tversky and Derek Koehler. Support Theory: A Nonextensional Representation of Subjective Probability // Psychological Review 101. 1994. № 4. P. 547–567. Также, даже когда людям кажется, что они ничего не знают, они обычно знают хотя бы кое-что, что может дать подсказку, достаточную, чтобы хотя бы немного сдвинуться от максимальной неопределенности. Астрофизик Дж. Ричард Готт демонстрирует, что должны делать прогнозисты, когда они знают только о том, как долго на данный момент длится какое-то событие (гражданская война, рецессия или эпидемия). В этом случае стоит встать на позицию «коперниковой скромности» и допустить, что в той точке времени, в которой вы находитесь и наблюдаете за явлением, нет ничего особенного. Например, если сирийская гражданская война на момент постановки вопроса IARPA продолжалась два года, представьте, что вероятность того, что вы находитесь в самом ее начале (она длилась еще только 5 % времени) или уже ближе к концу (допустим, она длилась уже 95 % времени), одинакова. Теперь вы можете сконструировать грубую доверительную полосу возможностей: что война может продлиться либо 1/39 от 2 лет (т. е. меньше месяца), либо 39^>χ2, т. е. 78 лет. Может быть, это и не блестящий результат, но это лучше, чем сказать «от нуля до бесконечности». И если 78 лет кажется вам смехотворно долгим периодом, то, значит, вы не соблюли базовое правило, согласно которому должны «ничего не знать». Вы только что представили взгляд снаружи на войны вообще (то есть знаете, что очень мало войн продолжалось такое длительное время). Иными словами, вы в самом начале пути к тому, чтобы стать хорошим прогнозистом. См.: Richard Gott. Implications of the Copernican Principle for Our Future Prospects // Nature 363. 1993. May 27. P. 315–320.

Брайан Лабатт, в беседе с автором, 30 сентября 2014 года.

B. A. Mellers, E. Stone, T. Murray, A. Minster, N. Rohrbaugh, M. Bishop, E. Chen, J. Baker, Y. Hou, M. Horowitz, L. Ungar, and P. E. Tetlock. Identifying and Cultivating ‘Superforecasters’ as a Method of Improving Probabilistic Predictions // Perspectives in Psychological Science. 2015.

Charlie Munger. A Lesson on Elementary Worldly Wisdom // address to the University of Southern California Marshall School of Business. 1994. April 14. http://www.farnamstreetblog.com/a-lesson-on-worldly-wisdom/.

В голову приходит печально известное выражение «годится для работы в правительстве». Финансовые аналитики бьются над тем, чтобы точно понять, верна ли разница оценок опций, которые находятся между тонкими вероятностными градациями, вроде 1/1000 и 1/100 000 вероятности обвала рынка. Здравый смысл подсказывает, что, если задание можно выполнить и его выполнение принесет достаточную выгоду, люди в конце концов с ним справятся. В этом свете, однако, наблюдается тревожная тенденция: люди гораздо больше интересуются исследованием границ градации в частном секторе, нежели в государственном. Разве не стоит ожидать от органов национальной безопасности при оценке террористической угрозы той же скрупулезности, которую демонстрируют работники банка Golden Sachs при оценке рыночных тенденций? Конечно, нет никакой гарантии, что старания увеличить степень градации увеличат также и точность. Оптимальной градацией для решения многих проблем уровня НСР, возможно, окажется пяти- или семипроцентная шкала, которую они ввели. Но из-за нехватки любопытства среди антиквантовых аналитиков сложно сделать вывод, возможны ли эти улучшения.

Перевод Р. Райт-Ковалевой. — Примеч. ред.

Kurt Vonnegut. Slaughterhouse-Five. New York: Dell Publishing, 1969. P. 76–77, 116.

Oprah Winfrey. Commencement address. Harvard University. 2013. May 30. http://news.harvard.edu/gazette/story/2013/05/winfreys-commencement-address/.

Konika Banerjee and Paul Bloom. Does Everything Happen for a Reason? // New York Times. 2014. October 17.

J. A. Updegraff, R. Cohen Silver, and E. A. Holman. Searching for and Finding Meaning in Collective Trauma: Results from a National Longitudinal Study of the 9/11 Terrorist Attacks // Journal of Personality and Social Psychology 95. 2008. № 3. P. 709–722.

Laura Kray, Linda George, Katie Liljenquist, Adam Galinsky, Neal Roese, and Philip Tetlock. From What Might Have Been to What Must Have Been: Counterfactual Thinking Creates Meaning // Journal of Personality and Social Psychology 98. 2010. № 1. P. 106–118.

Роберт Шиллер, в беседе с автором, 13 августа 2013 года.

Дэвид Будеску и Ева Чен изобрели метод оценивания суперпрогнозистов по весомости вклада, который придает особую значимость тем, кто увидит истину прежде остальных; см.: D. V. Budescu and E. Chen. Identifying Expertise to Extract the Wisdom of Crowds // Management Science 61. 2015. № 2. P. 267–280.

Даг Лорч, в беседе с автором, 30 сентября 2014 года. Вопрос о льдах Северного Ледовитого океана, как и вопрос об Арафате и полонии (и другие), нажал на идеологические красные кнопки многих прогнозистов. За маленькими вопросами они увидели большие. И большие были возмутителями спокойствия: «Реально ли глобальное потепление?», «Убил ли Израиль Арафата?». Прогнозисты попались в ловушку приема «заманить и подменить». Они заменили узкоспециальный сложный вопрос другим, эмоционально заряженным, который, по их мнению, требовал эмоционального же ответа. За это они поплатились резким увеличением результата Брайера.

Билл Флэк, в беседе с автором, 5 августа 2014 года.

G. Edward White. Earl Warren: A Public Life. New York: Oxford University Press, 1987. P. 69.

Защитники Уоррена могут возразить, что риск недооценить угрозу превышал риск переоценки, поэтому Уоррен предпочел быть осторожным. Роберт Гейтс использовал похожие аргументы, объясняя свой скептицизм по отношению к намерениям Горбачева в ту пору, когда был аналитиком ЦРУ. В EPJ я назвал этот маневр защитой в стиле «Я совершил правильную ошибку» — и признал, что иногда он аргументирован. Но упорство, с которым Уоррен вплоть до конца войны защищал свою точку зрения, бросает сомнение на подобную защиту. Даже годы спустя окончания войны Уоррен настаивал на своей правоте. Только в мемуарах, написанных им в 1971 году, он выражает сожаление. См.: G. Edward White. The Unacknowledged Lesson: Earl Warren and the Japanese Relocation Controversy // Virginia Quarterly Review 55. 1979. Autumn. P. 613–629.

John DeWitt. Final Report: Japanese Evacuation from the West Coast. 1942. https://archive.org/details/japaneseevacuati00dewi.

Jason Zweig. Keynes: He Didn’t Say Half of What He Said. Or Did He? // Wall Street Journal. 2011. February 11. http://blogs.wsj.com/marketbeat/2011/02/11/keynes-he-didnt-say-half-of-what-he-said-or-did-he/.

Charles A. Kiesler. The Psychology of Commitment: Experiments Linking Behavior to Belief. New York: Academic Press, 1971.

Жан-Пьер Бегон, в беседе с автором, 4 марта 2013 года.

P. E. Tetlock and Richard Boettger. Accountability: A Social Magnifier of the Dilution Effect // Journal of Personality and Social Psychology 57. 1989. P. 388–398.

Одна из самых ранних демонстраций чрезмерной волатильности цен на рынке ценных бумаг — см.: Robert Shiller. Do Stock Prices Move Too Much to Be Justified by Subsequent Changes in Dividends? // National Bureau of Economic Research Working Paper. 1980. № 456; Terrance Odean. Do Investors Trade Too Much? // American Economic Review 89. 1999. № 5. P. 1279–1298.

John Maynard Keynes. The General Theory of Employment, Interest, and Money. Create Space Independent Publishing Platform, 2011. P. 63.

Burton Malkiel. A Random Walk Down Wall Street / rev. and updated ed. NewYork: W. W. Norton, 2012. P. 240.

Там же. P. 241. Обратите внимание, что в сравнение частоты торговли включены люди, которые принимают решение торговать. Так называемая высокочастотная торговля осуществляется компьютерами и алгоритмами — и это совсем другое.

Тим Минто, в беседе с автором, 15 февраля 2013 года.

Sharon Bertsch McGrayne. The Theory that Would Not Die. Yale University Press, 2011. P. 7.

Jay Ulfelder. Will Chuck Hagel Be the Next SecDef? A Case Study in How (Not) to Forecast // Dart-Throwing Chimp. 2013. February 9. http://dartthrowingchimp.wordpress.com/2013/02/09/will-chuck-hagel-win-senate-approval-a-case-study-in-how-not-to-forecast/. Рикс сделал достаточно распространенную ошибку. В статье New York Times от 16 марта 2015 года Дэвид Леонхардт предупреждает о склонности экспертов слишком бурно реагировать на оплошности кандидатов (как, например, на высказывание Барака Обамы о том, что пристрастие американского рабочего класса к оружию и религии вызвано экономической неудовлетворенностью; или на бранное слово, которое Джордж У. Буш употребил в адрес журналиста, не зная, что запись беседы все еще ведется). Леонхардт справедливо напоминает прогнозистам, что на выборы в основном влияют глобальные политические факторы — такие как экономика и демография (From the Upshot’s Editor: Political Mysteries).

По моему мнению, Ульфельдер в этом споре был более убедителен, но это мнение, а не математический факт. Можно использовать Байеса для того, чтобы защитить Рикса. Как? Найти альтернативную базовую ставку, чтобы установить другую изначальную вероятность. Взамен 96 % (процент кандидатов в министры обороны, которые были одобрены Сенатом) можно предложить другую базовую ставку: если в новостях появляется вызывающая беспокойство кандидатура, как часто она проходит? Мое предположение — в 60 или 70 % случаев. Объединяем две базовые ставки и получаем априорную вероятность около 80 %. Итоговый результат: ошибка Рикса уже не так значительна, как раньше. Никогда не забывайте: прогнозирование событий реальной жизни — не только наука, но и искусство. Ulfelder. Will Chuck Hagel Be the Next SecDef?

Психологи провели сотни лабораторных исследований, которые тестируют степень профессионализма людей при корректировке результатов Байеса. В отличие от запутанных проблем реальной жизни, которыми интересуется IARPA, у этих лабораторных проблем есть четкие верные или неверные байесовские решения. Представьте, что вы наугад тянули шары (с пополнением) из урны — и есть вероятность 50/50, что урна содержит либо 70 шаров красного цвета и 30 синего, либо 70 синего и 30 красного. Вы вытянули 8 красных и 5 синих. Насколько вы должны изменить мнение, что теперь тянете из урны 50/50? Правильный байесовский ответ — 0,92, но большинство людей не принимают свидетельства достаточно серьезно и называют число ближе к 70 %. Используя подобные задания, Барбара Меллерс продемонстрировала, что суперпрогнозисты значительно лучше в байесовских подсчетах, чем другие прогнозисты. См.: B. A. Mellers, E. Stone, T. Murray, A. Minster, N. Rohrbaugh, M. Bishop, E. Chen, J. Baker, Y. Hou, M. Horowitz, L. Ungar, and P. E. Tetlock. Identifying and Cultivating ‘Superforecasters’ as a Method of Improving Probabilistic Predictions // Perspectives in Psychological Science. Forthcoming 2015.

Мэри Симпсон, в беседе с автором, 26 апреля 2013 года.

Популярное изложение исследования Двек см.: Carol Dweck. Mindset: The New Psychology of Success. New York: Ballantine Books, 2006. P. 18, 23.

Тут можно сделать вывод, что люди с фиксированным мышлением занимают в жизни невыгодное положение, потому что а) упускают возможности, которыми пользуются люди с мышлением роста, и б) лучше попытаться и потерпеть неудачу, чем не пытаться совсем. Но все еще непонятно, чьи взгляды на жизнь ближе к объективной реальности. Этот вопрос ведет нас к старому спору о природе и воспитании, яме, которую я осторожно обойду — разве что предупрежу еще раз о дихотомиях «или — или». Как сейчас выясняется благодаря исследованиям бихевиоральной генетики, природа или воспитание в реальности встречаются гораздо реже, чем природа и воспитание: ДНК в каждой клетке наших тел и мир, в котором мы рождаемся, взаимодействуют сложными путями. Природа не всем младенцам дает шансы стать Эйнштейном, Бетховеном, профессиональным баскетболистом или суперпрогнозистом. Но внутри этих рамок возможно огромное количество вариантов. Кем мы становимся и чего достигаем — зависит от возможностей в нашем мире и нашей готовности ими воспользоваться.

John F. Wasik. John Maynard Keynes’s Own Portfolio Not Too Dismal // New York Times. 2014. February 11. http://www.nytimes.com/2014/02/11/your-money/john-maynard-keyness-own-portfolio-not-too-dismal.html. См. также: David Chambers and Elroy Dimson. Retrospectives: John Maynard Keynes, Investment Innovator // Journal of Economic Perspectives 27. 2013. № 3. Summer. P. 213–228.

Wasik. John Maynard Keynes’s Own Portfolio Not Too Dismal.

John Maynard Keynes. Essays in Biography. Eastford, CT: Martino Fine Books, 2012. P. 175.

Noel F. Busch. Lord Keynes // Life. 1945. September 17. P. 122.

Michael Polanyi. Personal Knowledge. Chicago: University of Chicago Press, 1958. P. 238.

Если этот анализ верен, не только суперпрогнозисты, но и все прогнозисты, которые записались на турнир IARPA и не забросили его, должны, практикуясь, улучшить свои результаты. Правда ли все так? В идеальном мире это было бы легко выяснить: мы бы поместили результаты Брайера прогнозистов в график и посмотрели, улучшаются ли они со временем. Но мы не живем в таком мире, и узнать ответ на этот вопрос непросто. Добровольцы GJP не пытаются решить задачи в лаборатории, где сложность может поддерживаться на одном и том же уровне. В таком случае, если результат улучшается со временем, это означает, что у человека все лучше получается решать задачи. Но события реального мира, которые нужно прогнозировать, — не лабораторные задания. История постоянно изменяется, и сложность задач прогнозирования скачет туда-сюда. Так что, если мы посмотрим на точность прогнозиста в течение какого-то периода и увидим улучшение, можем сделать вывод, что либо у него лучше получается, либо вопросы стали проще. Отчасти эту проблему можно решить, если посмотреть на корреляцию между интеллектом и точностью с течением времени. Если она остается примерно одинаковой, значит, улучшения навыков, приобретенных в ходе турнира, у прогнозиста нет. Если же корреляция со временем снижается, это может указывать на уменьшающуюся роль природного интеллекта и увеличивающуюся роль навыков. Это далеко от идеального измерения, но, если бы я гнался за платоновским идеалом, я бы не покинул стены лаборатории. Результат? Корреляция с интеллектом на самом деле снижается. Это говорит нам о том, что практика действительно улучшает навыки прогнозистов.

Чтение этой сноски может помочь вам сэкономить гораздо больше денег, чем вы потратили на книгу. Чрезмерная уверенность может дорого стоить. Представьте двух людей, которые решают, вложить ли им 100 000 долларов пенсионных сбережений в биржевой индексный фонд, который приносит среднюю прибыль (средний S&P 500), или в фирму «Альфа», активно управляемый экспертами фонд, который обещает, что доходы будут превышать средние рыночные. Начав с предполагаемых фактов — что активные фонды далеко не каждый год обходят по доходам пассивные и что фирма «Альфа» берет за управлением фондами 1 % в год, а пассивный фонд 0,1 %, — мы можем рассчитать совокупную (за 30 лет) стоимость переоценки умения выбирать победителей. Допустим, оба фонда приносят доход 10 % до взятия платы за управление (получается, это будет 9,9 % от пассивного фонда и 9 % от активного), после повторного инвестирования прибыли более скромный инвестор получит $ 1 698 973, а самоуверенный инвестор — только $ 1 327 000. Разница в $ 371 973 — это высокая цена за когнитивную иллюзию. Конечно, заданные факты были условными, и если их изменить, цифры тоже могут измениться в пользу тех, кто охотится за активными менеджерами. Однако существующие свидетельства говорят о том, что более скромная и ленивая стратегия работает лучше. См.: Jeff Sommer. How Many Mutual Funds Routinely Rout the Market? Zero // New York Times. 2015. March 15. Это исследование позволяет предположить, что даже суперпрогнозисты не смогут превзойти глубоколиквидные рынки, на которых множество очень умных биржевых игроков с хорошими капиталами постоянно предугадывают действия друг друга. Это предположение никогда не проверялось, но суперпрогнозисты могут превзойти менее ликвидные и глубокие рынки (см. главу 9).

B. R. Forer. The Fallacy of Personal Validation: A Classroom Demonstration of Gullibility // Journal of Abnormal and Social Psychology 44. 1949. № 1. P. 118–123.

Жан-Пьер Бегон, в беседе с автором, 4 марта 2013 года.

Эксперт по энергетике Вацлав Смил вспоминал, как в 1975 году идеально предсказал потребление Китаем энергии в 1985 и 1990 годах, а также как в 1983 году он предугадал, какой будет мировая потребность в энергии в 2000-м. См.: Vaclav Smil. Energy at the Crossroads. Cambridge, MA: MIT Press, 2005. P. 138. Впечатляюще? Смил раскрыл свои прогнозы и продемонстрировал, что они были основаны на неверных суждениях, но при их сложении получилось правильное число — по случайности. Слишком большое количество прогнозистов на месте Смила воскликнули бы: «Получилось!» и стали делать новые прогнозы, используя те же методы.

Дэвин Даффи, в беседе с автором, 18 февраля 2013 года. Мой предыдущий EPJ-проект выявил, что экспертам с типом мышления лисы легче признавать, что им могло просто повезти, когда они делали свои лучшие прогнозы. P. E. Tetlock. Close-Call Counterfactuals and Belief-System Defenses: I Was Not Almost Wrong But I Was Almost Right // Journal of Personality and Social Psychology 75. 1998. P. 639–652.

Чем больше в турнирах роль случайности, тем сильнее риск, что прогнозисты забросят оттачивание мастерства. Но случайность может подстегивать и в оптимальных дозах мотивировать прогнозистов прикладывать усилия к решению задач и переходить на новый уровень. Как кажется, в покере есть именно эта оптимальная величина удачи. В отличие от покера, однако, в геополитических турнирах пропорции удачи и мастерства могут очень резко меняться, от 90/10 в пользу мастерства до 90/10 в пользу удачи. Прогнозистам нужен такой запас выдержки, которым обладал Марк Аврелий, чтобы справляться с миром, который может внезапно преобразоваться в совсем другой — и это может случиться несколько раз за их карьеру. Представьте концертирующего пианиста, который периодически вынужден играть на перепутанных местами клавишах. Это может оказать сильное деморализующее воздействие.

См. анализ сайта The PolitiFact.com по ссылке http://www.poli-tifact.com/truth-o-meter/article/2008/sep/09/e-mail-heardround-world/.

Энн Килкенни, в переписке по электронной почте с автором, 5 января 2014 года.

Шлезингер цитируется в: Irving L. Janis. Victims of Groupthink: A Psychological Study of Foreign-Policy Decisions and Fiascoes. Boston: Houghton Mifflin, 1972. P. 20.

Там же.

Честь мундира, кастовый дух (фр.). — Примеч. ред.

Там же.

Там же. P. 26

Марти Розенталь, в беседе с автором, 13 ноября 2014 года.

Элейн Рич, в беседе с автором, 20 ноября 2014 года.

Пол Терон, в беседе с автором, 16 ноября 2014 года.

Исследование Кристофера Чабриса и его коллег в области коллективного интеллекта подчеркивает наличие независимых свойств когнитивного функционирования на групповом уровне. См.: A. W. Wooley, C. Chabris, S. Pentland, N. Hashmi, and T. Malone. Evidence for a Collective Intelligence Factor in the Performance of Human Groups // Science 330. 2010. October. P. 686–688. http://www.sciencemag.org/content/330/6004/686.full.

Психология дающих часто простирается за пределы суперкоманд. Суперпрогнозист и политолог Карен Адамс присоединилась к проекту, чтобы сделать более весомый вклад в развитие общества. Теперь она делится уроками, усвоенными в ходе турнира IARPA, с ее студентами, участвующими в Модели ООН в Миссуле, штат Монтана. Кто знает? Может, она готовит новое поколение суперпрогнозистов.

Scott Page. The Difference: How the Power of Diversity Creates Better Groups, Firms, Schools, and Societies. Princeton, NJ: Princeton University Press, 2008.

Детали стратегий, помогших победить в турнире, см. в: P. E. Tetlock, B. Mellers, N. Rohrbaugh, and E. Chen. Forecasting Tournaments: Tools for Increasing Transparency and Improving the Quality of Debate // Current Directions in Psychological Science 23. 2014. № 4. P. 290–295; B. A. Mellers, L. Ungar, J. Baron, J. Ramos, B. Gurcay, K. Fincher, S. Scott, D. Moore, P. Atanasov, S. Swift, T. Murray, E. Stone, and P. Tetlock. Psychological Strategies for Winning a Geopolitical Tournament // Psychological Science 25. 2014. № 5. P. 1106–1115; V. A. Satopää, J. Baron, D. P. Foster, B. A. Mellers, P. E. Tetlock, and L. H. Ungar. Combining Multiple Probability Predictions Using a Simple Logit Model // International Journal of Forecasting 30. 2014. № 2. P. 344–356; J. Baron, L. Ungar, B. Mellers, and P. E. Tetlock. Two Reasons to Make Aggregated Probability Forecasts More Extreme // Decision Analysis 11. 2014. № 2. P. 133–145; V. Satopää, S. Jensen, B. A. Mellers, P. E. Tetlock, and L. Ungar. Probability Aggregation in the Time-Series: Dynamic Hierarchical Modeling of Sparse Expert Beliefs // Annals of Applied Statistics 8. 2014. № 2. P. 1256–1280.

Helmuth von Moltke. Moltke on the Art of War: Selected Writings / ed. Daniel J. Hughes; trans. Daniel J. Hughes and Harry Bell. New York: Ballantine Books, 1993. P. 175.

Там же. P. 228.

Jörg Muth. Command Culture: Officer Education in the U. S. Army and the German Armed Forces, 1901–1940, and the Consequences for World War II. Denton, TX: University of North Texas Press, 2011. P. 167.

Там же. P. 169.

On the German Art of War: Truppenführung. German Army Manual for Unit Command in World War II / eds. Bruce Condell and David T. Zabecki. Mechanicsburg, PA: Stackpole Books, 2009. P. 19.

Moltke. Moltke on the Art of War. P. 173.

Condell and Zabecki. On the German Art of War. P. 23.

Moltke. Moltke on the Art of War. P. 77.

Там же. P. 230.

Muth. Command Culture. P. 174.

Condell and Zabecki. On the German Art of War. P. 18.

Werner Widder. Battle Command: Auftragstaktik and Innere Führung: Trademarks of German Leadership // Military Review 82. 2002. № 5. September/October. P. 3.

Condell and Zabecki. On the German Art of War. P. 22.

Там же. P. IX.

Популярный лозунг в ходе избирательной кампании Д. Эйзенхауэра, который всю жизнь носил шутливое прозвище Айк. — Примеч. ред.

Процитировано в: Jean Edward Smith. Eisenhower in War and Peace. P. 55.

Muth. Command Culture. P. 174. Это в основном проблема армии. На флоте и в морской пехоте были другие культура и традиции.

George S. Patton. War as I Knew It. New York: Houghton Mifflin Harcourt, 1995. P. 357.

Jean Edward Smith. Eisenhower in War and Peace. New York: Random House, 2012. P. 612.

Eitan Shamir. Transforming Command: The Pursuit of Mission Command in the U. S., British, and Israeli Armies. Stanford, CA: Stanford University Press, 2011. P. 90.

Fred Kaplan. The Insurgents. New York: Simon and Schuster, 2013. P. 74.

Thomas Ricks. The Generals. New York: Penguin, 2012. P. 433.

Ralph Peters. Learning to Lose // American Interest 2. 2007. № 6. July/August. http://www.the-american-interest.com/2007/07/01/learning-to-lose/.

Дэвид Петреус, в беседе с автором, 16 августа 2013 года.

Генерал Петреус — противоречивая фигура, замешанная в недавнем скандале. В связи с ним у читателей могут появиться те же вопросы, что часто возникали по поводу других людей, которые упоминались в этой книге рядом с примерами верных и неверных суждений: Ларри Кудлов, или Пегги Нунан, или Роберт Рубин, или Хельмут фон Мольтке, или Ларри Саммерс. Помните, что эта книга, подобно лазеру, прицельно направлена на точность. Не попадайтесь на уловку «заманить и подменить». Не путайте ваше суждение об искусстве предвидения с вашим суждением о характере человека. Для вас не должно иметь значение, что тот или иной прогнозист — неверный муж, или обаятельный телеведущий, или талантливый спичрайтер, или инсайдер Уолл-стрит, или прусский империалист, или известный сексистскими высказываниями представитель «Лиги плюща». Для вас даже не должно иметь значение, если прогнозист — Адольф Гитлер, который в ранние годы Третьего рейха лучше других германских лидеров предвидел, насколько далеко зайдут западные страны в попытках его умиротворить. Упорство, с которым люди поднимают эти не относящиеся к делу вопросы, говорит нам о том, как сложно относиться к прогнозированию исключительно как к точной игре. В другом своем исследовании я называю это явление функциональным размытием: P. E. Tetlock. Social Functionalist Frameworks for Judgment and Choice: Intuitive Politicians, Theologians, and Prosecutors // Psychological Review 109. 2002. № 3. P. 451–471.

A Century of Innovation: The 3M Story. St. Paul, MN: 3M Company, 2002. P. 156.

Drake Baer. 5 Brilliant Strategies Jeff Bezos Used to Build the Amazon Empire // Business Insider. 2014. March 17.

Andrew Hill. Business Lessons from the Front Line // Financial Times. 2012. October 8.

Maxine Boersma. Interview: ‘Company Leaders Need Battlefield Values’ // Financial Times. 2013. April 10.

Stephen Ambrose. Eisenhower: Soldier and President. New York: Simon and Schuster, 1990. P. 267.

Энни Дьюк, в беседе с автором, 30 апреля 2013 года.

Джошуа Франкел, в беседе с автором, 13 февраля 2013 года.

James Kitfield. Flynn’s Last Interview: Iconoclast Departs DIA with a Warning // Breaking Defense. 2014. August 7. http://breakingdefense.com/2014/08/flynns-last-interview-intel-iconoclast-departs-dia-with-a-warning/.

См. отчеты Стокгольмского международного института исследования проблем мира и проекта «Отчет по безопасности человечества»: Human Security Report 2013: The Decline in Global Violence. Vancouver, BC: Human Security Press, Simon Fraser University, 2013.

Daniel Kahneman and Shane Frederick. Representativeness Revisited: Attribute Substitution in Intuitive Judgment / ed. Thomas Gilovich, Dale Griffin, and Daniel Kahneman // Heuristics and Biases: The Psychology of Intuitive Judgment. Cambridge: Cambridge University Press, 2002. P. 49–81.

Nassim Taleb. The Black Swan: The Impact of the Highly Improbable. New York: Random House, 2010. P. 10.

Louise Richardson. What Terrorists Want. New York: Random House, 2007. P. XVIII–XIX.

Taleb. The Black Swan. P. 50.

J. Bradford DeLong. Cornucopia: The Pace of Economic Growth in the Twentieth Century // National Bureau of Economic Research Working Paper Series, Working Paper 7602, National Bureau of Economic Research. 2000. March.

Duncan Watts. Everything Is Obvious: *Once You Know the Answer. New York: Crown Business, 2011. P. 153.

Donald Rumsfeld. Memo to President George Bush. 2001. April 12. http://library.rumsfeld.com/doclib/sp/2382/2001–04–12%20To%20George%20W%20Bush%20et%20al%20re%20Predicting%20the%20Future.pdf.

Richard Danzig. Driving in the Dark: Ten Propositions About Prediction and National Security. Washington, DC: Center for a New American Security. 2011. October. P. 8.

Oxford Essential Quotations. New York: Oxford University Press, 2014.

Взять хотя бы сильно нашумевший в 1993 году бестселлер «Схватка», написанный Лестером Туроу, бывшим деканом школы Слоуна при МТИ. В нем был нарисован портрет международной экономики начала XXI века: яркий, убедительный и неверный. Основными соперниками США в нем назывались Германия и Япония, а Китай практически не упоминался. В 1993 году «Схватку» настигла слава, сейчас — забвение.

Оценки смертей на войнах иногда сильно варьируются. К тому же постоянно оспаривается, что можно считать войной.

Учитывая быстро развивавшуюся технологию массовых убийств, здравомыслящий политический деятель мог бы поднять свою оценку степени риска войны с многомиллионными жертвами до 20, или 40, или 80 %. Это еще одно суждение, которое требует уравновесить взгляд снаружи, то есть исторические базовые ставки, и взгляд изнутри — более свежую информацию по данной проблеме.

Нассим Талеб однажды задал мне вопрос: как вообще можно оценить точность прогнозистов по событиям, которые происходят только раз в несколько десятилетий? Короткий ответ — никак. Более развернутый: есть хитрые пути приближения к проблеме, которые точно лучше, чем доски для спиритических сеансов. Один из подходов основан на чувствительности к масштабу, упомянутой в главе 11. Он оценивает логическое постоянство прогнозистов в оценке вероятности редких событий, как, например, вероятность получить травмы в автомобильной аварии в течение одного года или десяти лет. Если прогнозисты дают примерно одинаковые ответы, значит, они проваливают элементарный тест на базовое логическое постоянство. Если их научить проходить тест, это улучшит логическую осознанность прогнозов — необходимое, хоть и недостаточное условие для точности. Еще подход — разработать заблаговременно предупреждающие индикаторы грандиозных событий, оценить точность прогнозистов по индикаторам, а затем относиться к лучшим прогнозистам как к лучшим проводникам по исторической траектории, на которой мы окажемся. Ни один из подходов не решает проблему Талеба, но это лучше, чем ничего, — и лучше принятия экстремальной формы принципа предосторожности, который требует от нас отказываться от любых изменений, для которых каждый может создать «правдоподобный» сценарий худшего развития событий.

Мыслительный эксперимент Канемана едва скользит по поверхности бурлящего моря возможностей «что, если». Самые убедительные альтернативные истории описывают крошечные отклонения, приводящие к небольшим последствиям. Например, эссе Уинстона Черчилля, проследившее последствия победы конфедератов в Геттисбергском сражении, исход которого, как часто считают, решили поступки нескольких храбрецов. Или альтернативный вариант истории после победы Германии в Первой мировой войне. Я получаю удовольствие от воображаемых экскурсов в контрафактивную историю — и написал вместе с историком Джеффри Паркером работу, посвященную сложностям оценивания ее возможности. См.: Unmaking the West: «What-If?» Scenarios That Rewrite World History / eds. P. E. Tetlock, R. N. Lebow, and N. G. Parker. Ann Arbor: University of Michigan Press, 2006. См. также: P. E. Tetlock and A. Belkin. Counterfactual Thought Experiments in World Politics: Logical, Methodological, and Psychological Perspectives / eds. P. E. Tetlock and A. Belkin // Counterfactual Thought Experiments in World Politics. Princeton, NJ: Princeton University Press, 1996; P. E. Tetlock and R. N. Lebow. Poking Counterfactual Holes in Covering Laws: Cognitive Styles and Historical Reasoning // American Political Science Review 95. 2001. P. 829–843.

Как суперпрогнозистам это удалось? Они выстроили разумную причинно-следственную связь, которая позволила им быстро сосредоточиться на релевантных фактах и лишь слегка отвлечься на нерелевантные. Из прошлых примеров референдумов других наций они знали, что вариант «без изменений» обычно оказывается более распространенным, чем предсказывают опросы, потому что некоторые избиратели стесняются признаться во время опрашивания, что поддерживают «скучную» сторону. Этот эффект был обнаружен в 1995 году во время референдума за отделение Квебека от Канады. Также суперпрогнозисты помнили о силе агрегации: почти все опросы демонстрировали превосходство «против» с небольшим перевесом. Объедините эти факты — и вы получите на выходе весьма уверенное «против». И суперпрогнозисты почти все время придерживались избранного курса, даже когда опрос YouGov поставил ответ «за» вперед на 7 %. Они на короткий период повысили процент вероятности ответа «за» до 30 %, но, когда более поздние опросы не подтвердили результат YouGov, быстро опустили вероятность обратно до изначальной позиции 10 %. По контрасту, накануне референдума ставки на рынке пари в Великобритании составляли приблизительно 3:1 против успеха референдума — то есть с правильной стороны от «может быть», но далеко от уверенного расклада 9:1, который выдавали в то время суперпрогнозисты. См.: Simon Neville. Scottish Independence: Late Surge at the Bookies as Punters Catch Referendum Fever // The Independent. 2014. September 18. http://www.independent.co.uk/news/business/news/scottish-independence-late-surge-at-the-bookies-as-punters-catch-referendum-fever-9739753.html.

Daniel W. Drezner. What Scotland’s Referendum Teaches Me About Punditry // Washington Post. 2014. September 19. http://www.washingtonpost.com/posteverything/wp/2014/09/19/what-scotlands-referendum-teaches-me-about-punditry.

Там же.

Silver Speaks. Democrats Despair // Slate. 2014. March 24.

Mac Margolis. Brazil Threatens Banks for Honesty // Bloomberg View. 2014. August 1. http://www.bloombergview.com/articles/ 2014–08–01/brazil-threatens-banks-for-honesty.

http://www.nydailynews.com/news/election-2012/dick-morris-offers-explanation-predicting-romney-landslide-article-1.1201635.

Ira Rutkow. Seeking the Cure: A History of Medicine in America. New York: Scribner, 2010. P. 143.

Там же. P. 145.

См. сайт Коалиции доказательной политики — coalition4evi-dence.org — или: Ron Haskins and Greg Margolis. Show Me the Evidence: Obama’s Fight for Rigor and Results in Social Policy. Washington, DC: Brookings Press, 2014.

James Surowiecki. Better All the Time // New Yorker. 2014. November 10. http://www.newyorker.com/magazine/2014/11/10/better-time.

Обвинительный пинг-понг проливает свет на то, почему даже Федеральная резервная система не может избежать обтекаемых формулировок. Я говорю «даже», потому что ФРС, в отличие от разведсообщества, уже в значительной степени опирается на количественные (макроэкономические) модели в своих внутренних дискуссиях. Если бы они хотели, они могли бы гораздо яснее формулировать намерения. Но они не хотят, даже несмотря на то, что бывший председатель Бен Бернанке призывал в свое время к избавлению от велеречивости. Здесь мы натыкаемся на предел политических возможностей, а не научного познания. У ФРС множество причин прятаться за обтекаемые формулировки. Они не хотят, чтобы их растерзали за нахождение не на той стороне от «может быть», где часто оказываются даже самые «откалиброванные» прогнозисты. И они не хотят, чтобы публика видела, с какой периодичностью они меняют свое мнение, потому что публика часто воспринимает корректировку убеждений как признак замешательства, а не рациональности.

Похоже, ФРС сделала вывод, что публика, которая кричит, что хочет правды, на самом деле к ней не готова. Попробуйте представить себе деликатного Бена Бернанке, который подобно Джеку Николсону из «Нескольких хороших парней» яростно кричит: «Вы не можете справиться с правдой!» С этой точки зрения мы просто недостаточно созрели, чтобы справиться с цифрами. Поэтому мы должны продолжать расшифровывать заявления вроде того, что сделала Дженет Йеллен в феврале 2015 года: «Важно подчеркнуть, что модификация политики заявления о намерениях не должна восприниматься как признак того, что комитет обязательно увеличит валютный коридор за пару заседаний». См. James Stewart, «Wondering What the Fed’s Statements Mean? Be Patient» // New York Times. March 13. 2015. C 1.

Понятно, что это значит для РС. Даже если РС постепенно дойдет до уровня ФРС в подсчете степени неопределенности во внутренних дискуссиях, оно все равно должно придерживаться загадочных формулировок во внешних посланиях.

Эту фразу обычно приписывают Эйнштейну, но на самом деле ее автор — скорее всего, социолог Уильям Брюс Кэмерон, если верить Quote Investigator: http://quoteinvestigator.com/ 2010/05/26/everything-counts-einstein/.

Leon Wieseltier. Among the Disrupted // New York Times. 2015. January 18.

Elisabeth Rosenthal. The Hype over Hospital Rankings // New York Times. 2013. July 27. Усилия, которые предпринимаются, чтобы определить «суперов» (супербольницы, суперучителей или суперразведывательных аналитиков), легко снять со счетов по двум причинам: 1) превосходство многогранно, а мы можем лишь несовершенно отразить некоторые из этих граней (выживаемость пациентов, или результаты тестов, или результат Брайера); 2) как только мы назначаем официальную метрическую систему, мы создаем соблазн обмануть ее: не принимать тяжелых больных или выгонять проблемных учеников. Но решение проблемы не в том, чтобы отбросить все мерила. Решение в том, чтобы не переусердствовать с их интерпретацией.

Thomas Friedman. Iraq Without Saddam // New York Times. 2002. September 1.

Thomas Friedman. Is Vacation Over? // New York Times. 2014. December 23.

Caleb Melby, Laura Marcinek, and Danielle Burger. Fed Critics Say ‘10 Letter Warning Inflation Still Right // Bloomberg. 2014. October 2. http://www.bloomberg.com/news/articles/2014–10–02/fed-critics-say-10-letter-warning-inflation-still-right.

Некоторые считают, что название «Священный Грааль» очень подходит проекту, поскольку он очень наивен. При таком уровне враждебности невозможно объединить противоборствующие лагеря. Джонатан Хайдт обосновал пессимистический подход в проницательном исследовании 2012 года «Праведное сознание». Но даже несколько успешных случаев уже стали бы чудесными прецедентами. Есть веские причины предполагать, что, как только люди начинают делать прогнозы в турнирах с публичным обнародованием победителей, они становятся более непредвзятыми. Примечательно, что на публичном турнире IARPA гораздо больше выверенных прогнозов по сравнению с моими прошлыми турнирами EPJ, гарантировавшими анонимность. А результаты лабораторных экспериментов еще более очевидны. Публичные турниры создали форму ответственности, приучающую к возможности неправоты. Турниры оказывают эффект, который Сэмюел Джонсон приписывал виселице: они помогают концентрировать сознание (в случае турниров — для того чтобы избежать репутационной смерти). См.: P. E. Tetlock and B. A. Mellers. Structuring Accountability Systems in Organizations / ed. B. Fischhoff and C. Chauvin // Intelligence Analysis: Behavioral and Social Scientific Foundations. Washington, DC: National Academies Press, 2011. P. 249–270; J. Lerner and P. E. Tetlock. Accounting for the Effects of Accountability // Psychological Bulletin 125. 1999. P. 255–275.

Выдуманная, несуществующая страна. — Примеч. ред.

Билл Флек, в беседе с автором, 5 августа 2014 года.

Jo Graven McGinty. To Find a Romantic Match, Try Some Love Math // Wall Street Journal. 2015. February 14.

Greg Mankiw. The Overoptimism of Research Assistants. http://gregmankiw.blogspot.com/2013/11/the-excessive-optimism-of-research.html.

Обязательно, необходимо (фр.). — Примеч. ред.

Есть и альтернативная гипотеза. Разные подходы к подсчету вероятности в случае со спортом и терроризмом можно защитить тем, что спортивные события повторяются, а поиски Бен Ладена были единичным случаем. То, что Обама был более уверен, когда речь шла о спорте, вполне извинительно: суждения о баскетболе основываются на результатах предыдущих игр, в то время как суждения о терроризме словно извлечены из воздуха. Эту теорию могли бы подтвердить или опровергнуть ответы на два вопроса: 1) Так ли ясны высказывания Обамы об очевидно повторяющихся событиях уровня национальной безопасности, например атаках беспилотников, как его высказывания о спорте? 2) Стали бы политики отказываться от своих «предубеждений» в области менее повторяемых событий, если бы знали, что эти суждения так же надежны, как суждения по поводу более повторяемых событий? К сожалению, тестирование последней гипотезы невозможно, потому что политики не видят ценности в сборе вероятностных суждений о событиях, которые кажутся уникальными, не говоря уже об оценке их точности.

Tommy Lasorda and David Fisher. The Artful Dodger. New York: HarperCollins, 1986. P. 213.

Одиннадцатая «заповедь», представляющая собой оксюморон, напоминает нам о необходимости творческого подхода. Например, подготовка к «беспрецедентному» — к таким черным лебедям, как изобретение атомной бомбы, суперкомпьютеров и генной инженерии, — требует не так строго придерживаться ключевых заповедей: меньше полагаться на исторические базовые ставки и чаще кричать: «Волк!» при виде «маловероятных» сценариев. Конечно, бесплатного сыра не бывает. Сценаристы с богатым воображением обычно не могут сделать большую ставку на редкое событие с большими последствиями (попасть в цель) и одновременно не сделать такие же большие ставки на события, которые никогда не произойдут (промахнуться). Решим ли мы, что цена, заплаченная за увеличившееся количество попаданий, слишком высока, — зависит от того, насколько низким будет уровень ложных попаданий и как хорошо мы сумеем застраховать себя от событий, которые остальные не смогут себе представить. Как я уже говорил, суперпрогнозирование — это постоянная эквилибристика.