Обратите внимание, что проверка статистической значимости ничего не доказывает окончательно. Она не может исключить везение в качестве генератора результата, который мы наблюдаем. Лучшее, что она может сделать — это поставить наблюдаемый результат на ровне с определенной степенью везения. В нашем отдельном гипотетическом примере, это равное положение — два из 10 000 случайных угадывателей. Когда мы говорим, что эффект статистически достоверен, мы должны всегда указывать так называемое p-значение. Это вероятность, что чисто случайный процесс произвел бы к результат, по крайней мере столь же впечатляющий как фактический результат. P-значение 2 к 10 000 довольно впечатляюще, но тем не менеее возможно, чтобы при этом не было никакой настоящей закономерности. Красота выполнения надлежащей статистической проверки состоит в том, что мы узнаем, насколько вероятно, что в данном случае нет никакой подлинной закономерности.
Обычно ученые позволяют себе поддаться влиянию p-значения 1 к 100, или даже столь высоким как 1 к 20: намного менее впечатляющему, чем 2 к 10 000. Р-значение, которое вы принимаете, зависит от того насколько важным является результат, и от того, какое решение может за этим последовать. Если все, что вы стараетесь решить — это стоит ли повторять эксперимент с большей выборкой, p-значение 0.05, или 1 к 20, вполне приемлемо. Даже при том, что есть 1 шанс из 20, что ваш интересный результат произошел как-нибудь случайно, не многое поставлено на карту: ошибка обойдется не дорого. Если решение — вопрос жизни и смерти, как при некоторых медицинских исследованиях, следует искать намного более низкое p-значение, чем 1 к 20. То же самое верно для экспериментов, имеющих целью продемонстрировать очень спорные результаты, вроде телепатии или «паранормального» воздействия.
Как мы вкратце выяснили в связи с фингерпринтингом ДНК, статистики отличают ложноположительные от ложноотрицательных ошибок, иногда называемые ошибками типа 1 и типа 2 соответственно[10]. Ошибка типа 2, или ложноотрицательная — это необнаружение эффекта, когда тот действительно есть. Ошибка типа 1, или ложноположительная, напротив — заключение, что действительно что-то имеет место, когда на самом деле нет ничего, кроме случайности. P-значение — мера вероятности, что вы сделали ошибку типа 1. Статистическое суждение означает удержание среднего курса между двумя видами ошибки. Есть ошибка типа 3, при котором ваш разум полностью заходит в тупик всякий раз, когда вы стараетесь вспомнить, какой из типов 1, а какой 2. Я до сих пор подсматриваю это, после долгих лет использования. Поэтому там, где это имеет значение, я буду применять более легко запоминаемые названия, ложноположительный и ложноотрицательный. Я также, между прочим, часто делаю ошибки в арифметике. Практически мне нечего и мечтать о выполнении статистической проверки, начиная с основных принципов, как я сделал для гипотетического случая почерка. Я бы предпочел всегда искать в таблице, которую кто-то еще — желательно компьютер — рассчитал.