Это дурацкий пример, но у нас уже есть компьютеры, с помощью своих вычислительных мощностей выдающие неожиданные идеи и решения, чаще верные, нежели ошибочные. Сколько раз автоматическая проверка правописания позволяла вам исправить ваши случайные ошибки? Машинное обучение делает потрясающие вещи, порой невероятные. Приложение-переводчик от Google выучило языки мира самостоятельно, не в результате кропотливого процесса кодирования смыслов всех глаголов программистами, а путем статистического анализа обширных баз данных существующих переводов. Когда вы нажимаете на кнопку «перевести» на веб-странице, оно выискивает знакомые закономерности и подставляет соответствующие слова из другого языка. Чаще всего результат осмыслен; иногда — странен.
Преимущества машины, способной думать о тех вещах, о которых не можем думать мы, очевидны, но именно в этой способности и кроется угроза. Риск появления роботов, желающих поработить мир, невелик. Куда более рискованно то, что они будут хотеть делать что-то неожиданное, потому что мы их такими создали. Эта опасность — более глубокий вариант проблемы, уже досаждающей людям, работающим с роботами на космических аппаратах и в лабораториях: люди получают травмы, потому что не могут предугадать действия роботов.
Помочь может создание роботов, мышление которых ближе к человеческому, чьи закономерности мышления для нас были хотя бы постижимы. Вообразите создание компьютера с системой машинного обучения; усадите его мысленно за работу по разбору человеческого поведения и морали, закономерностей нашей истории и литературы. Понравится ли нам получившийся в итоге робот? Об убийстве и предательстве он узнает по меньшей мере столько же, сколько о любви и любознательности.
Человеческая этика эмоциональна, она эволюционирует вместе с нашими культурами. Движения за защиту окружающей среды не существовало до промышленной революции, но защита природы стала таким же центральным мотивом жизни некоторых людей, как для других — набожность. С чего нам печься о защите инопланетных существ, от которых нам никакого проку? Сверхразум может истолковать эти идеи как бессмысленные или сделать из них совершенно неожиданные выводы.
Сейчас не существует компьютеров, достаточно умных, чтобы так мыслить. Искусственный интеллект, сравнимый с человеческим, все время обещают «через двадцать лет». Стюарт Армстронг и Кадж Сотала из Института будущего человечества и Института исследований машинного интеллекта изучили 95 предсказаний появления ИИ, сделанных с 1950-х гг. Они обнаружили, что не важно, является ли прогнозирующий экспертом или непосвященным, опирается на доказательства или просто угадывает — чаще всего они говорят, что ИИ, сравнимый с человеческим, появится через 20 лет.