. При условии, что эти изменения не являются следствием снижения интеллекта, какие из этих предпочтений следует признать?
[327]Во-вторых, не просматривается очевидного рационального основания для изменения (в отличие от обновления) предпочтений индивида. Если Гарриет предпочитает А, а не Б, но имеет возможность выбрать опыт, который, как ей известно, может заставить ее отдать предпочтение Б перед А, с какой стати она станет это делать? Ведь в результате она станет выбирать Б, чего сейчас не хочет!
Вопрос об изменении предпочтений в драматической форме представлен в легенде об Одиссее и сиренах. Сирены, мифологические существа, своим пением завлекали мореплавателей на гибельные скалы средиземноморского острова. Одиссей, желая услышать их пение, приказал спутникам закупорить свои уши воском, а его привязать к мачте и ни при каких обстоятельствах не поддаваться, если он станет умолять освободить его. Очевидно, он хотел, чтобы спутники уважали его изначальные предпочтения, а не те, которые появятся у него, когда сирены его зачаруют. Эта легенда дала название книге норвежского философа Юна Эльстера [328], посвященной слабости воли и другим вызовам теоретическому представлению о рациональности.
Зачем интеллектуальным машинам сознательно браться за модификацию предпочтений людей? Ответ прост: чтобы наши предпочтения было проще удовлетворить. Мы видели это в главе 1 на примере оптимизации переходов по ссылкам в социальных сетях. Один из возможных ответов: машины должны считать человеческие предпочтения неприкосновенными — ничто, изменяющее их, не должно быть разрешено. К сожалению, это совершенно невозможно. Само существование такого подспорья, как полезный робот, скорее всего, окажет влияние на предпочтения человека.
Возможное решение состоит в том, чтобы машины изучали человеческие метапредпочтения, а именно — предпочтения в отношении того, процессы изменения каких именно видов предпочтений могут быть приемлемыми или неприемлемыми. Обратите внимание на использование формулировки «процессы изменения предпочтений», а не «изменения предпочтений». Дело в том, что стремление индивида изменить свои предпочтения в определенном направлении часто равносильно тому, чтобы уже иметь такие предпочтения. В действительности в таких случаях предметом желания является способность лучше реализовывать предпочтения. Например, если Гарриет говорит: «Я хочу, чтобы мои предпочтения изменились так, чтобы я не хотела пирожное так сильно, как сейчас», — значит, она уже предпочитает будущее с меньшим потреблением сладкого; чего она хочет на самом деле, это изменить свою когнитивную архитектуру так, чтобы ее поведение больше соответствовало этому предпочтению.