Таким образом, экономическая конкуренция не на жизнь, а на смерть создает импульс экономить на безопасности в надежде выиграть гонку. В ретроспективной статье 2008 г. о конференции 1975 г. в Асиломаре, приведшей к принятию моратория на генетическое изменение людей, один из ее организаторов, биолог Пол Берг, писал[249]:
Это урок Асиломара для всей науки: лучшая реакция на обеспокоенность, вызванную обретаемым знанием или технологиями на раннем этапе развития, состоит в том, чтобы ученые из учреждений с государственным финансированием нашли консенсус с широкой общественностью по поводу лучшего способа контроля — чем раньше, тем лучше. Когда ученые из корпораций начнут доминировать в исследовательском начинании, будет попросту поздно.
Экономическая конкуренция возникает не только между корпорациями, но и между странами. Недавний вал сообщений о многомиллиардных государственных инвестициях в ИИ, поступающих из США, Китая, Франции, Британии и ЕС, безусловно, свидетельствует, что ни один из крупнейших игроков не хочет отстать. В 2017 г. президент России Владимир Путин сказал: «Тот, кто станет лидером [в сфере ИИ], будет править миром»[250]. Это совершенно верный вывод. Продвинутый ИИ, как мы убедились в главе 3, приведет к огромному росту производительности и частоты инноваций практически во всех областях. Если его владелец не станет делиться инновациями, то получит возможность обойти любое соперничающее с ним государство или экономический блок.
Ник Бостром в «Сверхразумности» предостерегает против этой мотивации. Конкуренция государств, как и конкуренция корпораций, будет более сосредоточиваться на развитии возможностей как таковых и в меньшей мере — на проблеме контроля. Возможно, однако, что Путин читал Бострома; далее он сказал: «Было бы крайне нежелательно, чтобы кто-либо захватил монопольное положение». Это было бы еще и довольно бессмысленно, поскольку ИИ человеческого уровня не является игрой с нулевым итогом, и, поделившись им, нельзя ничего потерять. Напротив, конкурентная борьба за то, чтобы первым создать ИИ человеческого уровня, не решив сначала проблему контроля, — это игра с отрицательным итогом. Отдача для каждого — минус бесконечность.
Исследователи ИИ имеют лишь ограниченные возможности повлиять на развитие мировой политики в отношении ИИ. Мы можем указывать на возможные применения, которые приведут к полезным экономическим и социальным результатам; мы можем предупреждать о возможностях неправомерного использования, скажем, для слежки и в качестве оружия; наконец, мы можем предложить дорожные карты возможных направлений будущих открытий и их последствий. Пожалуй, самое важное, что мы можем сделать, — это разработать ИИ-системы, являющиеся, насколько это возможно, доказуемо безопасными и полезными для людей. Лишь тогда будет иметь смысл разработка общего регламента по ИИ.