Судя по всему, Канеман (вероятно, справедливо) относится к собственным открытиям двояко. Он предполагает, что запоминающее «я» «попросту ошиблось» и выбрало не тот опыт, потому что его память является дефектной и неполной; он считает это «плохой новостью для верящих в рациональность выбора». В то же время он пишет: «Теория благополучия, игнорирующая желания людей, не может быть надежной». Предположим, к примеру, что Гарриет попробовала пепси и колу и теперь уверенно предпочитает пепси; было бы абсурдом заставлять ее пить колу, исходя из суммы показаний секретного гедонометра, собираемых при каждой пробе.
Дело в том, что никакой закон не требует, чтобы наши предпочтения в отношении того или иного опыта определялись как сумма гедонистических ценностей в отдельные моменты времени. Действительно, стандартные математические модели сосредоточиваются на максимизации суммы вознаграждений [323], но исходным мотивом для этого является математическое удобство. Подтверждения появились позже в виде допущений, согласно которым рационально принимать решения, суммируя вознаграждения [324], но эти допущения необязательно выполняются в реальности. Допустим, Гарриет выбирает одну из двух последовательностей гедонистических ценностей: [10, 10, 10, 10, 10] и [0, 0, 40, 0, 0]. Вполне возможно, что она просто предпочтет вторую последовательность; никакой математический закон не заставит ее делать выбор, исходя из суммы, а не, скажем, максимума.
Канеман признает, что ситуация дополнительно осложняется решающей ролью для благополучия ожиданий и памяти. Память о единичном приятном опыте — своей свадьбе, рождении ребенка, вечере, посвященном сбору ежевики и приготовлению варенья, — способна поддерживать человека долгие годы тяжелой работы и разочарований. Возможно, запоминающее «я» оценивает не только опыт как таковой, но и его совокупное влияние на будущую ценность жизни. Предположительно, именно запоминающее, а не экспериментирующее «я» — лучший судья в вопросе о том, что будет отложено в памяти.
Время и изменение
Очевидно, что разумные люди в XXI в. не захотят перенимать предпочтения, скажем, римского общества II в. с его гладиаторскими бойнями на потеху публики, экономикой на основе рабства и жестоким истреблением покоренных народов. (Незачем подробно разбирать очевидные параллели этих характеристик в современном обществе.) Нормы морали совершенствуются со временем, по мере развития — или дрейфа, если вы предпочитаете этот термин, — нашей цивилизации. Это, в свою очередь, предполагает, что будущим поколениям может показаться совершенно отвратительным наше сегодняшнее отношение, скажем, к благополучию животных. Поэтому важно, чтобы машины, перед которыми поставлена задача реализации человеческих предпочтений, имели возможность реагировать на постепенные изменения этих предпочтений, а не фиксировали их намертво. Три принципа, описанных в главе 7, естественным образом учитывают эти изменения, поскольку требуют, чтобы машины изучали и выполняли нынешние предпочтения нынешних людей, — великого множества разных людей — а не один идеализированный комплекс предпочтений или же предпочтения разработчиков машин, возможно, давно умерших