Другим очевидным следствием существования более чем одного человека является то, что машине приходится искать компромисс между предпочтениями разных людей. Этот компромисс уже несколько веков является главной темой значительной части гуманитарных наук. Со стороны исследователей ИИ было бы наивно ожидать, что можно просто воспользоваться верными решениями без понимания того, что уже известно. К сожалению, литература по этой теме настолько обширна, что я физически не могу воздать ей должное на этих страницах, и не только потому, что места не хватит, но и поскольку большей ее части я не читал. Я также должен отметить, что практически все труды посвящены решениям, принимаемым людьми, тогда как меня заботят решения, принимаемые машинами. Это принципиальная разница, поскольку у людей есть личные права, которые могут конфликтовать с любым предполагаемым обязательством действовать в интересах других, а у машин их нет. Например, мы не ждем и не требуем от типичного человека, чтобы он жертвовал своей жизнью ради спасения других, но, безусловно, будем требовать от роботов жертвовать своим существованием, чтобы спасти жизни людей.
Несколько тысяч лет работы философов, экономистов, правоведов и политологов создали конституции, законы, экономические системы и социальные нормы, призванные облегчить (или затруднить, в зависимости от того, кому принадлежит власть) процесс достижения удовлетворительных решений проблемы компромисса. В частности, специалисты по философии морали занимаются анализом понятия правильности действий с точки зрения их влияния, благоприятного или негативного, на других людей. Они изучают количественные модели компромиссов с XVIII в., называя это утилитаризмом. Эта работа имеет непосредственное отношение к нашим сегодняшним тревогам, поскольку делает попытку найти формулу принятия нравственных решений в интересах многих индивидов.
Необходимость в компромиссах возникает, даже если у всех одна и та же структура предпочтений, потому что обычно невозможно максимально удовлетворить потребности всех и каждого. К примеру, если каждый захочет быть всемогущим властелином Вселенной, большинство людей постигнет разочарование. В то же время наше разнообразие вносит дополнительные сложности. Если все довольны голубым небом, то робот, решающий проблемы атмосферы, может работать над тем, чтобы оно таким и оставалось. Если же многие люди выступают за изменение цвета неба, роботу придется искать возможные компромиссы, скажем, оранжевое небо в третью пятницу каждого месяца.