Харсаньи примерно соответствует первому принципу полезного ИИ, который гласит, что единственное назначение машины — реализация предпочтений человека. Исследователи ИИ, безусловно, не должны решать, какими
должны быть предпочтения человека! Как Бентам, Харсаньи рассматривает подобные принципы как руководство к принятию
общественных решений; он не требует от индивидов такого бескорыстия. Не ждет он от них и идеальной рациональности: например, у них могут быть краткосрочные желания, противоречащие их «более глубоким предпочтениям». Наконец, он предлагает игнорировать предпочтения тех, кто, как вышеупомянутая Гарриет-садистка, деятельно старается уменьшить благополучие других.
Харсаньи также приводит нечто вроде доказательства того, что оптимальные нравственные решения должны максимизировать среднюю полезность во всей человеческой популяции[285]. Он выдвигает довольно слабые постулаты, аналогичные тем, что лежат в основе теории полезности индивидов. (Главный добавочный постулат: если все в популяции индифферентны к любому из двух результатов, то и агент, действующий в интересах популяции, должен быть индифферентным в отношении этих результатов.) Исходя из этих постулатов, он доказывает так называемую теорему общественного агрегирования: агент, действующий в интересах популяции индивидов, должен максимизировать взвешенную линейную комбинацию полезностей индивидов. Далее он утверждает, что «беспристрастный» агент будет использовать равные веса.
Эта теорема требует одного решающего дополнительного (и несформулированного) допущения: все индивиды имеют одни и те же фактические исходные убеждения о мире и о том, как он будет развиваться. Однако каждый родитель знает, что это неверно даже в отношении их детей, не говоря уже о людях из разных социальных слоев и культур. Что же происходит, если индивиды имеют разные убеждения? Нечто весьма странное[286]: вес, приписываемый полезности каждого индивида, должен меняться со временем пропорционально тому, насколько исходные убеждения данного индивида соответствуют раскрывающейся реальности.
Эта весьма неэгалитарная формула, хорошо знакома каждому родителю. Скажем, роботу Робби поручили приглядывать за двумя детьми, Алисой и Бобом. Алиса хочет пойти в кино и уверена, что сегодня будет дождь, Боб рвется на пляж и настаивает, что день будет солнечный. Робби мог бы заявить: «Мы идем в кино», — сделав Боба несчастным, или: «Мы идем на пляж», — сделав несчастной Алису, либо он может сказать: «Если будет дождь, пойдем в кино, а если солнце, то на пляж». Последний план делает счастливыми и Алису, и Боба, поскольку каждый из них верит своим собственным убеждениям.