Давайте предположим, что все надлежащие двойные слепые меры предосторожности были приняты, и что вы собрали 20 анонимных образцов почерка, перемешанные в случайном порядке. Я разбираю бумаги, сортируя их на две стопки, предполагаемых мальчиков и предполагаемых девочек. Я могу отнести некоторые в категорию «не знаю», но давайте предположим, что вы заставляете меня делать наиболее вероятное предположение, которое я могу в таких случаях. К концу эксперимента я сделал две стопки, и вы просматриваете их, чтобы узнать, насколько я был точен.
Теперь статистика. Вы предполагаете, что довольно часто я угадывал бы правильно, даже гадая просто наобум. Но насколько часто? Если мое заявление, что я могу определить пол по почерку, не обосновано, моя доля догадок должна быть не больше, чем у подбрасывающего монету. Вопрос в том, достаточно ли отличаются мои фактические результаты от результатов подбрасывания монеты, чтобы быть впечатляющими. Вот как приступить к ответу на этот вопрос.
Представьте все возможные способы, которыми я мог бы предположить пол 20 писавших. Перечислите их в порядке величины произведенного на вас впечатления, начиная со всех 20 правильных и опускаясь до совершенно случайного (все 20 неправильных почти столь же впечатляющи, как и все 20 правильных, потому что это показывает, что я могу видеть различия, даже при том, что я своенравно меняю знак на обратный). Затем взгляните на фактический результат моей сортировки, и подсчитайте процент от всех возможных сортировок, которые были бы столь же впечатляющи как фактическая, или больше. Вот как представить все возможные сортировки. Сначала обратите внимание, что есть только один способ быть 100-процентно правым и один способ быть 100-процентно неправым, но есть много способов быть правым на 50 процентов. Можно быть правым относительно первого листка, неправым относительно второго, неправым относительно третьего, правым относительно четвертого… Несколько меньше способов быть правым на 60 процентов. Еще меньше способов быть правым на 70 процентов, и так далее. Число способов сделать единственную ошибку настолько невелико, что мы можем выписать их все. Было 20 рукописей. Ошибка могла быть сделана на первой, или на второй, или на третьей… или на двадцатой. Таким образом, есть ровно 20 способов сделать одну ошибку. Более утомительно записать все способы сделать две ошибки, но мы достаточно легко можем вычислить, сколько их, и их 190. Еще труднее сосчитать способы совершить три ошибки, но вы можете убедиться, что это можно сделать. И так далее.