Как видно из табл. 5.4, коэффициенты попадания в исследованиях, где классифицированием утверждений занимались эксперты, сопоставимы с коэффициентами точности, установленными в ходе исследований, где разделение утверждений на правдивые и ложные авторы доверили компьютеру. Надежным способом установления разницы экспертных и компьютерно-аналитических решений в процессе принятия решений является сопоставление в рамках одного исследования классификаций, составленных каждой из сторон. Единственным экспериментом, в котором проводилось такое сравнение, было исследование Фрая, Кнеллера и Манна (Vrij, Kneller & Mann, в печати). Эксперты продемонстрировали более высокий уровень узнавания правды (коэффициент попадания составил 80 и 53 % у экспертов и у компьютера соответственно, см. табл. 5.4), тогда как компьютер оказался более успешным в определении лжи (коэффициент попадания составил 60 и 80 % у экспертов и у компьютера соответственно). Различия в коэффициентах попадания между экспертами и компьютерной программой подтверждают идею о том, что, вынося свой вердикт, эксперты руководствуются не только оценками по КАУК, но и используют ту или иную систему присваивания критериям различного веса. Впрочем, процесс присвоения веса в целом не повышает уровень попадания.
Влияние внешних факторов
Установить природу влияния на свидетельские показания каждого из критериев, представленных в Проверочном листе, чрезвычайно сложно, если вообще возможно. Например, стиль проведения интервью нередко определяет объем информации, которую сообщает свидетель в своем рассказе. Однако это вовсе не означает, что стиль проведения какого-то конкретного интервью непременно отразится на сообщениях того или иного свидетеля. Но даже если это и произойдет, впоследствии мы не сможем установить, в чем именно заключалось это влияние. Иными словами, точно определить влияние каждого конкретного фактора на рассказ свидетеля мы не в силах — мы можем только его оценить. Очевидно, что некоторые из предложенных нами оценок могут оказаться ошибочными. К тому же не исключено, что показания свидетелей подвержены влиянию каких-либо неизвестных нам покуда факторов, которые не были упомянуты в Проверочном листе.
Оценки, полученные с помощью ОВУ, носят субъективный характер
Все, что мы здесь говорили об оценивании утверждений с помощью ОВУ, не оставляет ни малейших сомнений в том, что эта процедура носит субъективный характер. Это значит, что они в значительной степени зависят от того, какую интерпретацию в данном случае предложит тот или иной эксперт. Поэтому очень важно понимать, насколько схожие результаты получают разные эксперты при оценке одних и тех же утверждений. Если бы, проанализировав один и тот же материал, эксперты приходили к разным выводам, применение ОВУ было бы неуместным и, следовательно, неоправданным. Существует два типа соглашений между двумя экспертами, проводящими оценку. Во-первых, эксперты могут прийти к соглашению относительно суммарной оценки по методике КАУК по данному утверждению. Во-вторых, эксперты могут вырабатывать единое мнение по поводу наличия или отсутствия в утверждении каждого из выработанных критериев. Результаты исследований показали, что уровень согласия между экспертами по поводу общего показателя по КАУК, как правило, высок и вполне удовлетворителен. Вместе с тем уровень согласия между экспертами по каждому из критериев зачастую весьма низок.