…выключить эту штуку?
Уловив саму идею экзистенциального риска, будь то в форме «проблемы гориллы» или «проблемы царя Мидаса», большинство людей, я в том числе, сразу же начинают искать простое решение. Часто первое, что приходит в голову, — это выключить машину. Например, сам Алан Тьюринг в приведенной ранее цитате рассуждает, что мы можем «удержать машины в подчиненном положении, например отключив питание в критический момент».
Это не поможет по той простой причине, что сверхинтеллектуальная сущность уже подумала об этой возможности и предприняла шаги по ее предотвращению. Она сделает это не из желания остаться живой, а потому что преследует ту или иную цель, которую мы ей дали, и знает, что не сможет ее достичь, если ее отключат.
Уже придуман ряд систем, которые невозможно отключить, не причинив серьезный ущерб нашей цивилизации. Это системы, реализованные в качестве так называемых смарт-контрактов в блокчейне. Блокчейн — высокораспределенная форма выполнения вычислений и хранения данных на основе шифрования, созданная специально для того, чтобы никакую часть данных нельзя было уничтожить и ни один смарт-контракт невозможно было прервать, фактически не взяв под контроль очень большое число машин и не разрушив цепочку, что, в свою очередь, может уничтожить значительную часть интернета и (или) финансовой системы. Ведутся споры, является ли эта невероятная устойчивость «фичей или багом», но, несомненно, это инструмент, с помощью которого сверхинтеллектуальная ИИ-система могла бы себя защитить.
…посадить ее под замок?
Если невозможно выключить ИИ-систему, нельзя ли окружить машины своего рода брандмауэром, получая от них полезную работу по ответам на вопросы, но не позволяя напрямую влиять на реальный мир? Таков замысел Oracle AI, подробно обсуждаемой в сообществе специалистов по безопасности ИИ[221]. Система Oracle AI может быть условно интеллектуальной, но способна отвечать на любой вопрос только «да» или «нет» (или сообщать соответствующие вероятности). Она может иметь доступ ко всей информации, которой обладает человечество, только с помощью чтения, то есть без непосредственного доступа в интернет. Разумеется, это означает отказ от сверхинтеллектуальных роботов, помощников и многих других типов ИИ-систем, но заслуживающая доверия Oracle AI все равно будет иметь колоссальную экономическую ценность, поскольку мы сможем задавать ей важные для нас вопросы, например имеет ли болезнь Альцгеймера инфекционную природу или следует ли запретить автономное оружие. Таким образом, Oracle AI, бесспорно, представляет собой интересную возможность.