Она пристально смотрит на меня.
— Может ли их искусственный разум обернуться против человечества?
— Возможно.
— Тогда, какого черта, Торн? — в ужасе шепчет она.
— Яма запрограммирован не создавать страдания другим. Первоначальные и главные протоколы его спрограммированы так, что он должен помогать и быть другом всему человечеству, но он также не является ни добром, ни злом. Он просто действует самым эффективным образом.
— Тогда почему ты сказал «возможно»?
Я вздыхаю.
— Потому что существует возможность, что люди могут встать препятствием на пути ИИ.
— Объясни, прошу тебя.
— Все будет зависеть от того, как ИИ будет интерпретировать свою цель. Как человек, я могу запрограммировать его на благородную цель — заставить всех людей улыбаться. Человек будет шутить или совершать что-то хорошее для человечества. Но сверх интеллектуальное существо может решить, что самый эффективный и действенный способ достижения этой цели — установить контроль над миром и просто втыкать электроды в лицевые мышцы или мозг людей на планете, вызывая тем самым постоянно сияющие улыбки.
— Господи, Торн. Скажи мне что-нибудь, что не напугает меня до смерти, прошу тебя.
Честно говоря, я хмурюсь от ее слов.
— Существуют меры безопасности, которые я написал для Яма, чтобы он не причинял ущерб людям.
— После всего, что ты мне только что рассказал, ты полностью уверен, что сможешь контролировать этого... демона, которого создал? По твоему же признанию, он в миллионы раз умнее тебя.
— Если мы выпускаем генетически модифицированных комаров в дикую природу, мы тоже рискуем. Прогресс всегда сопровождается риском.
— Хотя бы скажи мне, что когда все зайдет слишком далеко и станет действительно плохо, мы сможем его отключить.
Торн начинает мяться с ноги на ногу.
— К тому времени, когда начнется эта стадия, с таким же успехом можно будет попросить шимпанзе щелкнуть выключателями, чтобы остановить нас и не уничтожать их естественную среду обитания.
Она хмурится.
— Но шимпанзе не создали нас.
— Да, это так. Но, где находится выключатель для интернета, ты знаешь?
Она отрицательно качает головой, ее глаза наполнены страхом.
— Какое нас ожидает будущее, Торн?
— Оно может быть замечательным. Грядут огромные невообразимые изменения. Люди больше не будут столько работать, роботы за них будут делать всю тяжелую работу, люди будут заниматься продажами и дистрибьюцией, компании, специализирующиеся в сфере развлечений, найдут занятие для каждого, моделируя реальность, и ученые заключат контракт с коммерческими агентами. Часть людей естественным образом будет порабощена из-за своего умственного состояния. Мы добьемся большего результата при меньших ресурсах.