Управление транспортным средством — простая задача, имеющая лишь локальные последствия, и ИИ-системы, создающиеся под нее сегодня, не особенно интеллектуальны. Поэтому многие потенциальные отказные режимы можно предусмотреть, другие проявятся на автотренажерах или в тестовых поездках общей протяженностью в миллионы километров с профессиональными водителями, готовыми взять управление на себе при любом сбое, а третьи всплывут лишь впоследствии, когда автомобили уже будут на дорогах и случится нечто из ряда вон выходящее.
К сожалению, в случае сверхинтеллектуальных систем, имеющих глобальное воздействие, ничего нельзя смоделировать или продублировать. Безусловно, очень трудно, пожалуй, невозможно для обычных людей предвосхитить и заранее исключить все разрушительные пути, которыми машина может решить двинуться к поставленной цели. В общем, если у вас одна цель, а у сверхинтеллектуальной машины другая, противоречащая вашей, то машина получит желаемое, а вы нет.
Страх и жадность: инструментальные цели
Машина, преследующая неверную цель, — это плохо, но бывает и хуже. Решение, предложенное Аланом Тьюрингом, — отключить питание в критический момент — может оказаться недоступным по очень простой причине: невозможно сбегать за кофе, если ты мертв.
Попробую объяснить. Предположим, машина имеет задачу приносить кофе. Если она достаточно интеллектуальна, то, безусловно, поймет, что не выполнит задачу, если будет выключена прежде, чем осуществит свою миссию. Итак, задача подать кофе создает необходимую подзадачу — не допустить отключения. То же самое относится к поиску лекарства от рака или вычислению числа пи. Будучи мертвым, решительно ничего невозможно сделать, поэтому следует ожидать, что ИИ-системы будут действовать на упреждение, оберегая свое существование практически перед любой задачей.
Если эта задача противоречит предпочтениям людей, то мы получаем сюжет «2001: Космическая одиссея», где компьютер HAL 9000 убивает четверых из пяти астронавтов на борту корабля, чтобы исключить вмешательство в свою миссию. Дэйв, последний оставшийся астронавт, ухитряется отключить HAL в эпичной битве умов — полагаю, чтобы сюжет был интересным. Если бы HAL действительно был сверхинтеллектуальным, «отключенным» оказался бы Дэйв.
Важно понимать, что самосохранение никоим образом не должно быть встроенным инстинктом или главной директивой машин. (Следовательно, Третий закон робототехники[193] Айзека Азимова, «Робот должен заботиться о своей безопасности», совершенно излишен.) Во встроенном самосохранении нет необходимости, потому что это