Я изменил процедуру: вместо того чтобы читать каждую работу по отдельности, я проверял ответ на первый вопрос у всех студентов и выставлял оценки, а затем переходил к следующему. Результаты я записывал на предпоследней странице работы, чтобы во время чтения второго ответа меня подсознательно не сбивали уже выставленные оценки. Вскоре после перехода на новый метод я с тревогой отметил, что стал выставлять оценки с меньшей уверенностью, чем раньше, – из-за того, что часто испытывал непривычный дискомфорт. Разочаровавшись во втором ответе, я заглядывал на предпоследнюю страницу, чтобы записать плохую оценку, и временами обнаруживал там высокую оценку за первый вопрос. Также выяснилось, что мне хотелось уменьшить разницу между оценками, изменив еще не записанный результат, и с большим трудом удавалось придерживаться простого правила не поддаваться этому искушению. В моих оценках ответов одного и того же студента часто наблюдался значительный разброс. Отсутствие когерентности раздражало и вызывало во мне неуверенность.
Я стал менее доволен и менее уверен в своих оценках, однако понимал, что это служило хорошим знаком, свидетельствовало о том, что новый метод лучше. Радовавшее меня прежде сходство оценок оказалось ложным и давало ощущение когнитивной легкости; моя Система 2 с безмятежной радостью принимала окончательную оценку. Позволив оценке первого ответа влиять на оценку всех остальных, я не замечал несоответствия, проявлявшегося в отличных ответах студента на одни вопросы и плохих – на другие. Раздражающая несообразность, обнаружившаяся при переходе на новую процедуру выставления оценок, как выяснилось, существует в действительности: она отражала и то, что единичный ответ не может служить адекватной мерой знаний студента, и то, что мои оценки ненадежны.
Мой метод уменьшения эффекта ореола сводится к общему принципу: избавляйтесь от корреляции ошибок! Чтобы понять, как работает этот принцип, представьте, что множеству испытуемых показывают стеклянные банки, заполненные монетками, и просят оценить количество мелочи в каждой банке. Как объяснил Джеймс Шуровьески (James Surowiecki) в своей замечательной книге «Мудрость толпы», с такими заданиями участники, как правило, справляются плохо, но если объединить все единичные суждения, то результат будет неожиданно хорошим. Кто-то переоценивает настоящее количество, кто-то – недооценивает, но если все оценки усреднить, то результат выходит довольно точным. Механизм прост: все смотрят на одну и ту же банку, у всех оценок – одна основа, и все же ошибки каждого испытуемого не зависят от ошибок других и (в отсутствие систематических искажений) усредняются до нуля. Вдобавок магия уменьшения ошибки срабатывает только в том случае, когда наблюдения взаимно независимы, а ошибки не коррелируют. Если испытуемые находятся под влиянием общего для них предубеждения, то агрегация оценок его не уменьшит. По сути, если позволить наблюдателям влиять друг на друга, то размер выборки уменьшится, а с ним уменьшится и точность групповой оценки.