.
Цитируемый пост с сайта Lifehacker, помимо прочего, демонстрирует, что существует серьезная проблема с тем, как сейчас проводятся исследования, какие выводы из них делаются и какие рекомендации по самопомощи дают на основе этих исследований. В качестве примера вспомним недавнее псевдонаучное исследование, на основе которого сделали вывод, что употребление шоколада ускоряет процесс потери веса. В исследовании участвовали реальные испытуемые (только пятнадцать человек), применялись стандартные методы (с большой вероятностью получения ошибочно-позитивных результатов) и были получены статистически значимые результаты (правда, достигаемый эффект был мизерным). Отчет об исследовании был опубликован в престижном журнале, где в качестве рецензентов выступали видные ученые (по утверждению издателя)[131]. Объективно говоря, это было слабое исследование, не достойное какого бы то ни было внимания, но многие новостные сайты преподнесли выводы исследования как научный факт, что явно показывает, что они не позаботились о научной строгости и перед публикацией не провели журналистскую экспертизу на предмет соответствия информации реальности.
Чтобы оценить масштаб проблемы, была предпринята попытка повторить хорошо известные, ставшие классикой исследования в рамках проекта с говорящим названием «Проект воспроизводимости». В рамках проекта около трехсот ученых воспроизвели сто исследований согласно отчетам, которые до этого были опубликованы лучшими журналами по психологии. Всего тридцать пять исследований из ста дали те же результаты, что и оригинальные исследования. Существует еще один метод проверки результатов – выведение так называемого «индекса реплицируемости». В основе подхода лежит метаанализ, то есть объединение результатов нескольких исследований методами статистики, что позволяет выявить те из них, которые являются ложными. В частности, метаанализ показал несостоятельность нашумевшей теории мотивации Роя Баумейстера об истощении эго, хотя сам Баумейстер по-прежнему убежден, что его методы и выводы относительно уровня сахара в крови правильны[132].
Инициаторы проверок старых исследований считают, что ранее ученые «допускали вольности», чтобы показать статистически значимые результаты. В науке говорят о p-значении, то есть о наименьшей величине уровня значимости, ниже которой велика вероятность того, что результаты получены случайно. Типичный верхний порог значимости – 5 %. Однако p-значение можно применять только в контексте проверки одной гипотезы, а не при попытке вывести результат, имея много переменных. Например, в исследовании о влиянии шоколада на снижение веса, у пятнадцати человек делали замеры по восемнадцати параметрам: уровень белка в крови, холестерин, качество сна, вес, самочувствие и т. д. Анализ показателей по восемнадцати параметрам дает 60-процентную вероятность найти что-то, а это значительно выше уровня в 5 %. При этом исследователи могут непреднамеренно обманывать себя или преднамеренно обманывать других ученых, учитывая только те параметры, которые отвечают заранее выбранной гипотезе. Такую практику вполне обоснованно называют «взлом p-значения» или