Я не утверждаю, что в принципе невозможно рационально опровергнуть мысль о том, что неправильно сконструированные сверхинтеллектуальные машины будут представлять собой серьезный риск для человечества. Я всего лишь пока не слышал рациональных возражений. Поскольку вопрос кажется очень важным, он заслуживает публичного обсуждения самого высокого уровня. Итак, поскольку я заинтересован в подобном обсуждении и надеюсь, что читатель примет в нем участие, позвольте мне кратко охарактеризовать основные моменты, какими они видятся на сегодняшний день.
Отрицание того, что проблема вообще существует, — самый простой путь. Скотт Александер, автор блога Slate Star Codex, начал широко известную статью об опасности ИИ[201] такими словами: «Я начал интересоваться рисками, которые несет ИИ, еще в 2007 г. В то время реакцией большинства на эту тему были смех и предложение вернуться к ней, когда в нее поверит хоть кто-нибудь, кроме отдельных интернет-психов».
Попросту никчемные замечания
Воспринимаемая угроза делу всей жизни порой заставляет умнейших и обычно вдумчивых людей говорить нечто, что они предпочли бы исключить из дальнейшего рассмотрения. Поскольку это именно такой случай, я не стану называть имена авторов нижеследующих аргументов. Все они являются известными исследователями ИИ. Я добавил опровержения аргументов, хотя в этом и нет особой необходимости:
• Электронные калькуляторы обладают сверхчеловеческими возможностями в арифметике. Калькуляторы не захватили мир, следовательно, нет причин бояться сверхчеловеческого ИИ.
— Опровержение: интеллектуальность не равна умению производить арифметические действия, и способности калькуляторов производить арифметические действия не дают им возможности захватить мир.
• Лошади обладают сверхчеловеческой силой, но мы не ищем доказательств того, что они для нас неопасны; значит, нам незачем доказывать и безопасность ИИ-систем.
— Опровержение: интеллектуальность не равна физической силе, и сила лошадей не дает им возможности захватить мир.
• В истории имеется ноль случаев убийства машинами миллионов человек; методом индукции приходим к выводу, что это невозможно и в будущем.
— Опровержение: в мире все бывает в первый раз, и первому разу предшествует ноль случаев этого события.
• Никакая физическая величина во Вселенной не может быть бесконечной, в том числе интеллектуальность, следовательно, страхи из-за сверхинтеллектуальности раздуты.
— Опровержение: сверхинтеллектуальность не должна быть бесконечной, чтобы создать проблемы, а физические законы позволяют существование компьютерных устройств в миллиарды раз мощнее человеческого мозга