Если мы планируем создавать консеквенциалистские машины, возникает следующий вопрос: как оценить последствия, влияющие на многих людей? Возможно, ответ состоит в том, чтобы приписывать предпочтениям каждого одинаковый вес — иными словами, максимизировать сумму полезностей для каждого. Этот ответ обычно приписывается британскому философу XVIII в. Иеремии Бентаму[282] и его ученику Джону Стюарту Миллю[283], разработавшим философский подход к утилитаризму. Основная идея прослеживается вплоть до трудов древнегреческого философа Эпикура и в явном виде предстает в трактате «Мо-цзы», автором которого считается древнекитайский философ, которого звали так же. Мо-цзы работал в конце V в. до н. э. и продвигал идею цзянь ай — «всеобъемлющей заботы» (или «всеобщей любви», в зависимости от перевода) как определяющего признака нравственного действия.
Утилитаризм имеет подпорченную репутацию, отчасти из-за банального непонимания. (Безусловно, не способствует пониманию и то, что слово утилитарный в быту означает «призванный быть скорее полезным или практичным, чем привлекательным».) Утилитаризм часто считается несовместимым с личными правами, поскольку его последователь, как принято считать, без колебаний выпотрошит живого человека, чтобы пересадить его органы и спасти пять жизней. Очевидно, однако, что подобные подходы сделали бы недопустимо шаткой жизнь любого землянина, так что условному утилитаристу такое и в голову не придет. Утилитаризм ошибочно идентифицируют с весьма непривлекательной максимизацией совокупного богатства и считают, что он придает очень мало значения бедности или страданиям. В действительности версия Бентама сосредоточивалась именно на счастье человека, а Милль уверенно приписывал намного большую ценность интеллектуальным удовольствиям над простыми ощущениями («Лучше быть недовольным человеком, чем довольной свиньей»). Идеальный утилитаризм Дж. Э. Мура пошел еще дальше: он выступал за максимизацию психических состояний самоценности, олицетворяемой эстетическим постижением красоты.
Думаю, философам-утилитаристам нет необходимости специально оговаривать идеальное содержание полезности или предпочтений человека. (Еще меньше причин для этого у исследователей ИИ.) Люди могут сделать это сами. Экономист Джон Харсаньи представил подобный взгляд в форме принципа автономии предпочтений[284]:
При принятии решения о том, что хорошо и что плохо для данного индивида, решающим критерием могут быть лишь его собственные желания и его собственные предпочтения.
Таким образом,