Формулировка первого принципа поднимает два вопроса фундаментального значения. Каждый сам по себе заслуживает целой книжной полки, по этим вопросам уже написано множество книг.
Первый вопрос: имеют ли люди в действительности предпочтения значимого или устойчивого характера? Честно говоря, понятие «предпочтения» — это идеализация, во многих отношениях расходящаяся с реальностью. Например, мы не рождаемся с предпочтениями, которые имеем во взрослые годы, значит, они обязательно меняются со временем. На данный момент я предположу, что это разумная идеализация. Позднее я рассмотрю, что происходит, если мы отказываемся от идеализации.
Второй вопрос составляет основу социальных наук: с учетом того, что обычно невозможно гарантировать получение каждым своего самого предпочитаемого результата — мы все не можем быть императорами Вселенной, — как машине примирить предпочтения многочисленных людей? Опять-таки пока — обещаю, что вернусь к этому вопросу в следующей главе, — представляется разумным принять простой подход, что все равны. Это заставляет вспомнить о корнях утилитаризма XVIII в. с его идеалом «наибольшее счастье наибольшему числу людей»[239], для практической реализации которого требуется много оговорок и уточнений. Пожалуй, самым важным из всех является вопрос о том, каким образом учесть предпочтения очевидно громадного числа людей, которые еще не родились.
Вопрос о будущих поколениях поднимает следующий, связанный с ним: как учесть предпочтения существ, не являющихся людьми? А именно — должен ли первый принцип включать предпочтения животных? (Возможно, и растений?) Этот вопрос заслуживает обсуждения, но результат едва ли окажет заметное влияние на движение к созданию ИИ. Вообще говоря, человеческие предпочтения могут включать — и включают — условия благополучия животных, а также те аспекты благополучия человека, которые непосредственно выигрывают от существования животных[240]. Сказать, что машина должна уделять внимание предпочтениям животных в дополнение к этому, равносильно утверждению, что люди должны строить машины, больше заботящиеся о животных, чем сами люди, — довольно шаткая позиция. Более устойчивая состоит в том, что наша склонность к ошибочному принятию решений — играющая против наших же интересов — часто приводит к негативным последствиям для окружающей среды и ее обитателей-животных. Машина, принимающая менее близорукие решения, помогла бы людям следовать более осмысленной политике в отношении среды обитания. Если в будущем мы станем придавать значительно большее значение благополучию животных, чем сейчас, — что, по-видимому, требует отказа от части нашего собственного объективного благополучия, — машины соответствующим образом адаптируются к этому изменению.