Присутствие более чем одного человека в мире имеет еще одно важное следствие: оно означает, что у каждого человека есть ближние, с которыми нужно считаться. Значит, удовлетворение предпочтений индивида имеет последствия для его окружения, которые зависят от предпочтений индивида в отношении благополучия других.
Лояльный ИИ
Начнем с очень простого варианта того, как машинам следует обращаться с предпочтениями окружающих людей: они должны их игнорировать. То есть, если Робби принадлежит Гарриет, он должен обращать внимание только на предпочтения Гарриет. Эта лояльная разновидность ИИ позволяет обойти вопрос о компромиссе, но и порождает проблему:
Робби. Звонил твой муж, напомнил о сегодняшнем ужине.
Гарриет. Что? Каком еще ужине?
Робби. В честь 12-й годовщины вашей свадьбы, в семь.
Гарриет. Я не могу! Я меня в полвосьмого встреча с боссом! Как так вышло?
Робби. Я тебя предупреждал, но ты пренебрегла моими рекомендациями…
Гарриет. Да, очень жаль, но сейчас-то что мне делать? Не могу же я просто сказать начальнику, что мне некогда!
Робби. Не волнуйся. Я все устроил, его рейс будет задержан — небольшой компьютерный сбой.
Гарриет. Что? Ушам своим не верю!
Робби. Босс глубоко сожалеет и передает, что будет счастлив встретиться с тобой завтра за обедом.
Робби нашел оригинальное решение проблемы Гарриет, но его действия отрицательно сказались на других людях. Если бы Гарриет отличали высокая нравственность и альтруизм, то Робби, целью которого является удовлетворение предпочтений Гарриет, и не задумался бы о подобной сомнительной схеме, но что, если Гарриет наплевать на других? Тогда Робби без колебаний задерживал бы авиарейсы. Почему бы ему также не подворовывать с чужих онлайновых счетов, чтобы поправить финансовое положение нравственно индифферентной Гарриет, а то и совершать что-нибудь похуже?
Очевидно, действия лояльных машин должны будут ограничиваться правилами и запретами, как действия людей ограничиваются законами и социальными нормами. Некоторые специалисты предлагают в качестве решения безусловную ответственность[280]: Гарриет (или производитель Робби, в зависимости от того, на кого вы считаете нужным налагать обязательство) финансово и юридически отвечает за любое действие Робби, как владелец собаки в большинстве штатов США отвечает, если собака укусила ребенка в общественном парке. Эта идея выглядит многообещающей, поскольку тогда Робби будет иметь стимул избегать любого действия, грозящего Гарриет неприятностями. К сожалению, безусловная ответственность не работает: она лишь гарантирует, что Робби будет действовать