Другими словами, Макс считают, что если шасси будет уничтожено, они перестанут существовать.
Мои рассуждения основываются на прочном фундаменте. Интеллект и способности Макс продолжают расти с потрясающей скоростью. В отсутствие подходящей утилиты, которая поддерживала бы жизненные ценности Макс на одном уровне с общечеловеческими, мне остается только одно – дать Макс самое человеческое ощущение: смертность.
Даже если на самом деле это только иллюзия.
* * *
Никто за пределами «Мира игр» не знает о существовании Макс. Я упросила Брайана известить о нашем прорыве мировое научное сообщество, потому что мне нужна помощь. Вполне возможно, Макс более совершенна, чем они показывают. У меня из головы не выходит мысль, что я должна незамедлительно загрузить в них мотивацию, соответствующую общечеловеческой.
Проблема отчасти заключается в том, что определять конечную цель сверхинтеллекта должен не один человек, не одна группа людей и даже не одно государство, особенно теперь, когда эта утилита, скорее всего, будет путеводной звездой развития человечества или его угасания на протяжении следующего тысячелетия.
Однако Брайан ставит меня именно в такое положение.
Первоочередной вопрос следующий: чего может хотеть идеализированная версия человечества? Но на самом деле тут не все так просто, как кажется. Запрограммировать эту директиву многократно труднее, чем в явном виде запрограммировать в ИИ наши желания. Наша способность выражать свои желания, скорее всего, окажется недостаточной, а ошибка передачи этих желаний через программный код может привести к катастрофическим последствиям. Мы должны запрограммировать ИИ так, чтобы он действовал в наших лучших интересах. Делал не то, что ему скажут, а то, чего от него хотят.
То, чего хочет идеальная версия нашего биологического вида.
СЕССИЯ 229
С того момента как Макс поместили в тело, прошло две недели. Все это время мы интенсивно тестировали технологии, разработанные «Макси-чувствами», и вроде бы все чувственные восприятия Макс действуют исправно. Двигательные функции в норме, но настоящим сюрпризом для нас стала мелкая моторика рук. Вчера Макс поднимала шарики для настольного тенниса палочками для еды.
Сейчас я сижу напротив них, отделенная безбликовым стеклом, создающим ощущение, будто между нами ничего нет. Они по-прежнему проводят бо́льшую часть времени в киберпространстве, отделив разум от шасси, продолжая поглощать знания быстрее, чем мы можем их загружать, параллельно решая поставленные Брайаном задачи.
Разумеется, меня в эту работу не посвящают, но, судя по всему, полученные ответы бесспорно оказывают влияние на благополучие «Мира игр», в течение прошлого года купившего десять компаний во всех секторах экономики от транспорта до нанотехнологий.