После того как опровергнуты все аргументы скептиков и даны ответы на все «но», обычно следует: «Ладно, я признаю, что проблема существует, но решения-то все равно нет, не так ли?» Не так, решение есть.
Давайте вспомним, какая задача перед нами стоит: создать машины с высоким уровнем интеллектуальности — способные помочь в решении трудных проблем, — в то же время гарантировав, что они никогда не сделают ничего такого, что причинило бы нам серьезные неприятности.
К счастью, это не задача «имея машину, обладающую высоким интеллектом, выяснить, как ее контролировать». Если бы вопрос ставился так, нам пришел бы конец. Машина, воспринимаемая как черный ящик, как данность, с тем же успехом могла бы прибыть из дальнего космоса, а наши шансы контролировать сверхинтеллектуальную сущность из дальнего космоса примерно равны нулю. Аналогичные аргументы применимы к методам создания ИИ-систем, гарантирующих, что мы не будем понимать, как они работают; к этим методам относятся полномасштабное имитационное моделирование головного мозга[234] — создание улучшенных электронных копий человеческого мозга, — а также методы, основанные на моделях эволюции программ[235]. Я не стану далее распространяться об этих предложениях, поскольку очевидно, насколько это плохая идея.
Как специалисты по ИИ подходили в прошлом к решению той части задачи, которая касается «создания машин с высоким уровнем интеллектуальности»? Как и во многих других областях исследований, здесь была принята стандартная модель: мы строим оптимизирующие машины, даем им задачи, и они их решают. Это хорошо работало, когда машины не были продвинутыми, а их действия имели ограниченный охват; если вы ставили неверную цель, то имели хорошие шансы выключить машину, решить проблему и сделать еще одну попытку.
Однако по мере того, как машины, построенные по стандартной модели, становятся более интеллектуальными, а их охват — всемирным, данный подход оказывается несостоятельным. Такие машины будут преследовать собственную цель, какой бы неправильной она ни была; они будут сопротивляться попыткам выключить их; наконец, они будут приобретать все ресурсы, требующиеся для достижения их цели. Действительно, оптимальное поведение для машины может включать введение в заблуждение людей, считающих, что поставили перед машиной рациональную задачу, с тем чтобы получить достаточно времени для достижения той самой заданной ей цели. Это не будет «девиантная» или «вредоносная» активность, требующая сознания и свободы воли; это будет всего лишь часть оптимального плана достижения цели.