Интуитивно это ощущается как разумное объяснение. Легко составить каузальную историю, объясняющую, почему, в отличие от крупных школ, небольшие учебные заведения дают замечательное образование и, таким образом, выпускают замечательных учеников, уделяя им больше внимания и лучше поощряя их. К несчастью, анализ причин бессмыслен, поскольку неверны факты. Если бы статистики, делавшие доклад в Фонде Гейтса, задались вопросом о характеристиках самых плохих школ, то обнаружилось бы, что плохие школы обычно тоже малочисленные. Дело в том, что в среднем маленькие школы ничуть не лучше, у них просто выше изменчивость. Вейнер и Цверлинг утверждают, что большие школы дают лучшие результаты, особенно в старших классах, когда важно большее разнообразие доступных предметов. Благодаря последним открытиям когнитивной психологии очевидно то, что мы с Амосом заметили лишь мельком: закон малых чисел – один из многих, объясняющих, как устроен наш разум.
• Преувеличенная вера в маленькие выборки – один из примеров общей иллюзии: мы обращаем больше внимания на содержание сообщений, чем на информацию об их надежности, и в результате получаем более простую и связную картину окружающего мира, чем предполагают данные. Поспешные выводы безопаснее делать в воображении, но не в действительности.
• Статистика порождает много наблюдений, которые, казалось бы, требуют каузальных объяснений, но на самом деле им не подлежат. Вероятность отвечает за множество событий, включая случайность выборки. Каузальное объяснение случайностей неминуемо будет неправильным.
Разговоры о законе малых чисел
«Да, с приходом нового директора студия сняла три успешных фильма, но еще слишком рано говорить, что у него легкая рука».
«Я не поверю, что новый трейдер – гений, пока не посоветуюсь со статистиком, способным оценить вероятность того, что эти удачи – не просто воля случая».
«Выборка слишком маленькая, чтобы делать выводы. Давайте не будем следовать закону малых чисел».
«Я планирую держать результаты эксперимента в тайне, пока у нас не будет достаточно большой выборки, иначе нас заставят сделать выводы раньше времени».
Мы с Амосом как-то раз подкрутили рулетку, размеченную от 0 до 100, таким образом, что она останавливалась только на цифрах «10» или «65». Участниками эксперимента стали студенты Орегонского университета. Мы раскручивали колесо и просили испытуемых записать число, на котором останавливалась рулетка (то есть 10 или 65). Затем мы задавали им два вопроса:
Доля африканских стран среди членов ООН больше или меньше числа, которое вы только что записали?