Совместимость. Как контролировать искусственный интеллект (Рассел) - страница 158

:

Восприимчивость одного ума, насколько нам известно, может быть в тысячу раз больше, чем другого. Однако при условии, что восприимчивость различается в одинаковом соотношении по всем направлениям, мы никогда не сможем обнаружить даже самую вопиющую разницу. Таким образом, любой ум непостижим для любого другого ума, и никакой общий знаменатель чувств невозможен.

Американский экономист Кеннет Эрроу, основатель современной теории социального выбора, лауреат Нобелевской премии 1972 г., был столь же непреклонен:

Здесь мы будем придерживаться той точки зрения, что межличностное сравнение полезностей не имеет смысла и что в действительности нет смысла сравнивать благосостояние, измеряя индивидуальную полезность.

Трудность, которую имеют в виду Джевонс и Эрроу, заключается в отсутствии очевидного способа установить, оценивает ли Алиса уколы булавкой и леденцы по шкале от −1 до +1 или от −1000 до +1000 в смысле своего субъективного переживания счастья. В любом случае она отказалась бы от одного леденца, чтобы избежать одного укола. Действительно, если бы Алиса была человекоподобным роботом, внешне она могла бы вести себя так же даже в отсутствие какого бы то ни было субъективного переживания счастья.

В 1974 г. американский философ Роберт Нозик предположил, что, даже если бы межличностное сравнение полезностей было возможно, максимизация суммы полезностей все равно была бы плохой идеей, потому что вступила бы в противоречие с монстром полезности — абстрактным человеком, чьи ощущения удовольствия и боли во много раз интенсивнее, чем у обычных людей[294]. Такой человек счел бы, что любая дополнительная единица ресурсов привела бы к большему увеличению общей суммы счастья человечества, если бы досталась ему, а не другим. Тогда и отнимать ресурсы у других во благо монстра полезности также было бы хорошей идеей.

Казалось бы, это нежелательное последствие, но консеквенциализм сам по себе здесь бессилен: проблема заключается в том, как мы измеряем желательность последствий. Один из возможных ответов состоит в том, что монстр полезности — теоретический конструкт, таких людей не бывает. Однако вряд ли такой ответ сработает: в определенном смысле все люди являются монстрами полезности по сравнению, скажем, с крысами и бактериями, поэтому мы и не обращаем внимания на предпочтения крыс и бактерий, вырабатывая меры общественной политики.

Если мысль о том, что разные сущности имеют разные шкалы полезности, уже встроена в наше мышление, то кажется более чем вероятным, что и у разных людей имеются разные шкалы.