Совместимость. Как контролировать искусственный интеллект (Рассел) - страница 170

и запоминающее «я», — предпочтения которых конфликтуют[321].

Экспериментирующее «я» измеряется гедонометром, в представлении британского экономиста XIX в. Фрэнсиса Эджворта, «идеально точным инструментом, психофизической машиной, постоянно регистрирующей степень удовольствия, испытываемого индивидом, в точном соответствии с вердиктом его сознания»[322]. Согласно гедонистическому утилитаризму, совокупная ценность любого опыта для индивида сводится к сумме гедонистических ценностей каждого мгновения этого опыта. Это представление одинаково подходит к смакованию мороженого и к проживанию целой жизни.

Напротив, запоминающее «я» «распоряжается» принятием решений. Это «я» выбирает новый опыт на основе памяти о прошлом опыте и его желательности. Эксперименты Канемана свидетельствуют, что представления запоминающего и экспериментирующего «я» очень сильно различаются.

Простейший эксперимент, позволяющий это понять, состоит в погружении руки испытуемого в холодную воду. Он проводится в двух разных режимах: при первом рука погружается на 60 секунд в воду температурой 14 °C, во втором за погружением на 60 секунд в воду при 14 °C следует погружение на 30 секунд в воду с температурой 15 °C (это температура океанской воды в Северной Калифорнии — достаточно холодно, чтобы практически никто не заходил в воду без гидрокостюма). Все испытуемые называют опыт неприятным. Испытав оба режима (в любом порядке с интервалом в 7 минут), участники эксперимента отвечают на вопрос, какой режим они предпочли бы повторить. Подавляющее большинство предпочитают повторить схему 60 + 30, а не погружение только на 60 секунд.

Канеман предполагает, что с точки зрения экспериментирующего «я» 60 + 30 должно быть строго хуже, чем 60, поскольку включает 60 и еще один неприятный опыт. Тем не менее запоминающее «я» выбирает 60 + 30. Почему?

Объяснение Канемана заключается в том, что запоминающее «я» смотрит на прошлое через весьма причудливые розовые очки, обращая внимание главным образом на «пиковую» ценность (наибольшую или наименьшую гедонистическую ценность) и на «конечную» ценность (гедонистическую ценность в конце опыта). Продолжительность разных частей опыта по большей части не учитывается. Пиковые уровни дискомфорта в схемах 60 и 60 + 30 одинаковы, но конечные уровни разные: в случае 60 + 30 вода на один градус теплее. Если запоминающее «я» оценивает опыт по пиковой и конечной ценности, а не путем суммирования гедонистических ценностей на промежутке времени, то 60 + 30 лучше, что и было обнаружено. Модель «пиковой — конечной ценности» объясняет многие другие, столь же странные наблюдения, описанные в литературе о предпочтениях.