Исследователи безопасности ИИ, особенно из Института изучения машинного интеллекта в Беркли, рассмотрели вопрос о том, возможно ли безопасное взрывное развитие интеллекта[276]. На первый взгляд вопрос кажется утопичным (разве это не будет просто «конец игры»?), но, возможно, надежда все-таки есть. Допустим, первая машина серии, Робби Марк I, начинает действовать, имея идеальное знание предпочтений Гарриет. Зная о том, что ограничения его когнитивных возможностей делают несовершенными его попытки осчастливить Гарриет, он строит Робби Марка II. Интуиция говорит, что Робби Марк I имеет стимул встроить свое знание предпочтений Гарриет в Робби Марка II, поскольку это ведет к будущему, где предпочтения Гарриет лучше удовлетворяются, — именно в этом и состоит жизненное предназначение Робби Марка I в соответствии с первым принципом. По той же логике, если Робби Марк I пребывает в неопределенности относительно предпочтений Гарриет, эта неопределенность будет передана Робби Марку II. Так что, вероятно, взрывоподобный рост все-таки безопасен.
Ложкой дегтя в этой бочке меда с математической точки зрения является то, что Робби Марку I будет трудно понять, как станет вести себя Робби Марк II, поскольку Робби Марк II по определению является более продвинутой версией. На некоторые вопросы о его поведении Робби Марк I не сможет ответить[277]. Что еще серьезнее, у нас пока нет четкого математического определения, что означает для машины в реальности иметь определенное назначение, скажем, удовлетворение предпочтений Гарриет.
Давайте немного углубимся в последнее соображение. Возьмем AlphaGo. Какое у нее предназначение? Казалось бы, это легкий вопрос: AlphaGo предназначена выигрывать в го. Или нет? Безусловно, нельзя утверждать, что AlphaGo всегда делает ходы, гарантирующие победу. (В действительности она почти всегда проигрывает AlphaZero.) Верно то, что, когда до окончания игры остается лишь несколько ходов, AlphaGo сделает выигрышный ход, если таковой существует. В то же время, если никакой ход не гарантирует победы — иначе говоря, когда AlphaGo видит, что стратегия противника является выигрышной, что бы она сама ни делала, — то она ходит более-менее случайно. Она не попробует сделать невероятно хитрый ход в надежде, что противник ошибется, поскольку предполагает, что противник играет идеально. Программа действует так, словно теряет волю к победе. В таких случаях в каком смысле является истиной, что AlphaGo на самом деле хочет выиграть? Действительно, ее поведение может быть таким, как у машины, которая хочет лишь устроить для своего противника захватывающую игру.