Именно пересечением этих двух миров и заинтересовался Боб Ходжсон, океанограф по образованию (сейчас находящийся на пенсии), который на протяжении сорока лет держит собственную винодельню в северной Калифорнии. Как и любой профессиональный винодел, Ходжсон участвует в винных конкурсах, таких как Калифорнийская ярмарка, где опытные эксперты дегустируют сотни вин и лучшим присуждают золотые медали – медали, наличие или отсутствие которых может сделать ваше вино либо хитом продаж, либо завалявшимся на полках товаром. Иногда вина Ходжсона получают золотые медали, иногда нет. Но, в отличие от большинства виноделов, он не готов терпеть несправедливость. Обладая научным складом ума, Ходжсон заинтересовался, почему одно и то же вино может получить высокие баллы на одном конкурсе и минимальные на другом. Насколько можно доверять этим оценкам? Поскольку вдобавок к пытливому уму Ходжсон также обладает немалым даром убеждения, ему удалось получить у организаторов Калифорнийской ярмарки разрешение заняться выяснением этих вопросов.
Жюри на крупных конкурсах наподобие Калифорнийской ярмарки дегустирует около 150 вин в день, которые сгруппированы в 4–6 «дегустационных сетов» по 30 вин в каждом. Все вина налиты в одинаковые стаканы и отмечены идентификационными кодами, так что ни один эксперт не знает названия вин, которые он дегустирует. Каждый эксперт индивидуально – обсуждение на этом этапе судейства не предусмотрено – оценивает каждое вино по 20‑балльной шкале. (На самом деле жюри на Калифорнийской ярмарке использует 100‑балльную шкалу, с которой можно встретиться в винных магазинах. Но любое более или менее приемлемое вино набирает не меньше 80 баллов, поэтому фактически шкала является 20‑балльной.)
Ходжсон договорился с организаторами конкурса – разумеется, втайне от экспертов – что каждый день в один из сетов (как правило, во второй) будет включено по три идентичных образца, налитых из одной бутылки, но маркированных разными идентификационными кодами. Если оценки судей являются объективным отражением качества вина, то эти три идентичных образца должны получить одинаковые или по крайней мере очень похожие баллы, учитывая возможность небольших расхождений в оценках.
Результаты были совершенно поразительными. «Мы сделали все, чтобы облегчить дегустаторам задачу: один сет, вино из одной бутылки. И почти никто не оценил эти три образца одинаково», – говорит Ходжсон. Только 10 процентов членов жюри поставили им примерно равные баллы, что в сумме дало примерно одинаковый рейтинг. Еще 10 процентов оценили образцы настолько по‑разному, что один из образцов мог претендовать на золотую медаль, а другой попал в нижнюю часть рейтинга. Остальные эксперты находились посередине между этими двумя группами. И дело было не в том, что одни участники были более квалифицированными и опытными, чем другие: последовательность в оценках в один год вовсе не гарантировала такой же последовательности на следующий год.