Совместимость. Как контролировать искусственный интеллект (Рассел) - страница 161

, как мы примем подобные важные решения или доверим их машинам.

Будем оптимистами и предположим, что постепенно мы решим эти и другие проблемы, вытекающие из существования на Земле более чем одного человека. Достаточно альтруистичные и эгалитарные алгоритмы загружаются в роботов по всему миру. Всеобщее ликование и веселая музыка. Затем Гарриет возвращается домой…

Робби. Добро пожаловать домой! Устала сегодня?

Гарриет. Да, очень много работы, даже перекусить не успела.

Робби. Так ты, наверное, проголодалась!

Гарриет. Умираю с голоду! Можешь приготовить обед?

Робби. Я должен тебе кое-что сказать…

Гарриет. Что? Только не говори, что в холодильнике пусто!

Робби. Нет, но люди в Сомали нуждаются в более срочной помощи. Я отбываю немедленно. Будь добра, приготовь обед сама.

Даже если Гарриет гордится Робби и собственным вкладом в его превращение в столь возвышенную и благородную машину, она не может не удивляться, зачем было выкладывать целое состояние, чтобы купить робота, первым важным действием которого стало исчезновение. На деле, конечно, никто не купит такого робота, следовательно, такие роботы не будут создаваться. Назовем это «проблемой Сомали». Чтобы вся схема с утилитарными роботами была работоспособной, мы должны найти решение этой проблемы. В частности, Робби должен быть в некоторой мере лоялен по отношению к Гарриет — возможно, пропорционально заплаченной Гарриет за него сумме. Если общество хочет, чтобы Робби помогал и другим людям, кроме Гарриет, оно, вероятно, должно будет компенсировать Гарриет ее потери в ситуациях, когда прибегает к помощи Робби. Весьма вероятно, что роботы будут координировать свои действия, чтобы все они разом не отбыли в Сомали, — а если бы это случилось, Робби вообще не нужно было бы уезжать. Может быть, возникнут экономические отношения совершенно нового типа, способные справиться с присутствием (очевидно, беспрецедентным) миллиардов сугубо альтруистичных агентов в мире.

Хорошие, отвратительные и завистливые люди

Предпочтения людей далеко не исчерпываются удовольствием и пиццей. Они, бесспорно, распространяются на благополучие других. Даже Адам Смит, отец экономики, которого часто цитируют, когда нужно оправдать эгоизм, начал свою первую книгу с подчеркивания принципиальной важности заботы о других[302]:

Насколько бы эгоистичным ни представлялся человек, очевидно, в его природе есть некоторые принципы, заставляющие его интересоваться судьбой других и мыслить их счастье необходимым для него, хотя он ничего от него не получает, кроме удовольствия его наблюдать. Таковы жалость или сострадание, эмоции, которые мы испытываем при несчастье других, или наблюдая его, или получая очень живое о нем представление. То, что мы часто испытываем горе из-за горя других, в действительности слишком очевидно, чтобы требовать каких-либо доказательств.