Совместимость. Как контролировать искусственный интеллект (Рассел) - страница 81

С 2014 г. в Женеве на уровне дипломатов ведутся дискуссии, которые могут привести к запрету AWS. В то же время некоторые из основных участников этих дискуссий (США, Китай, Россия, а также, в некоторой степени, Израиль и Великобритания) уже вступили в опасное соревнование по разработке автономного оружия. В США, например, программа «Совместные операции в закрытых зонах» (Collaborative Operations in Denied Environments, CODE) пытается реализовать автономное функционирование, обеспечив возможность работы таких дронов, которые не могут постоянно контактировать с командным пунктом. Дроны будут «охотиться стаями, как волки», утверждает руководитель программы[156]. В 2016 г. ВВС США продемонстрировали развертывание в полете 103 микродронов Perdix с тремя истребителями F/A-18. Согласно сделанному заявлению, «Perdix не являются запрограммированными синхронизированными индивидуальными элементами, это коллективный организм, имеющий один распределенный „мозг“, занимающийся принятием решений и их взаимным приспособлением, как пчелиный рой»[157].

Возможно, вам кажется совершенно очевидным, что создание машин, которые могут принять решение убивать людей, — плохая мысль. Однако «совершенно очевидно» не всегда убедительно для правительств — включая некоторых из перечисленных в предыдущем абзаце, — помешанных на достижении чего-то, что они считают стратегическим превосходством. Более убедительной причиной для запрещения автономного оружия является то, что это масштабируемое оружие массового уничтожения.

Масштабируемый — это термин из области программирования. Процесс является масштабируемым, если вы можете увеличить его в миллион раз, по сути просто купив в миллион раз больше оборудования. Так, Google обрабатывает около 5 млрд поисковых запросов в день силами не миллионов сотрудников, а миллионов компьютеров. При наличии автономного оружия вы можете совершить в миллион раз больше убийств, купив в миллион раз больше оружия, именно потому что оно автономно. В отличие от дронов с дистанционным управлением или АК-47, им не нужно участие человека, чтобы делать свою работу.

Как оружие массового уничтожения масштабируемое автономное оружие имеет преимущества для атакующего перед ядерным оружием и ковровыми бомбардировками: оно не повреждает имущество и может применяться избирательно для уничтожения лишь тех, кто представляет угрозу. Оно, безусловно, может использоваться для того, чтобы целиком смести с лица земли определенную этническую группу или всех последователей какой-либо религии (если у них есть видимые отличительные признаки). Более того, если применение ядерного оружия представляет собой катастрофический рубеж, который нам удается (нередко по чистому везению) не переступить с 1945 г., в отношении масштабируемого автономного вооружения такой рубеж отсутствует. Атаки могут усиливаться постепенно: сначала сотня убитых, потом тысяча, десять тысяч, сто тысяч. В дополнение к реальной атаке сама