У США, Британии, Израиля и Норвегии уже есть беспилотники и ракеты с ИИ, способные лететь без наведения, избегать обнаружения и противовоздушного огня, выбирать цель, наводить средства поражения и уничтожать ее. Видеодемонстрация нового флотского вооружения Lockheed Martin неприятно напоминает запись атаки камикадзе во время Второй мировой войны. Как утверждает уже сегодня вовсю идет секретная гонка автономных вооружений. Беспилотники США, проводящие атаки на Ближнем Востоке, почти все делают сами, по словам Дими. Только непосредственный приказ о запуске ракеты поступает от человека в комнате управления где-то в США.
Недолго осталось ждать и роботов, способных заменить наземные войска. Усиленная разработка разведывательных роботов велась перед операцией в Ираке. Они должны были стремительно перемещаться в хаотичном окружении, полном движения, опасностей и мирных жителей. Дими нравилась сложная работа по созданию робота, способного ориентироваться среди незнакомых улиц, собирать сведения, быстро их обрабатывать (для чего роботу нужно научиться игнорировать второстепенные данные) и решать, что делать. Но морпехам были также нужны роботы, способные вести бой.
Создатели роботов много думают над тем, как роботу навредить человеку. Роботы могут случайно нанести серьезный вред. Они могут быть непредсказуемы, их бывает трудно понять. Когда они допускают ошибку, они не обязательно останавливаются. Автоматизированные системы уже приводили к крушениям самолетов и кораблей, обычно из-за ошибок в области взаимодействия машин с операторами. «Аполлон-10» чуть не разбился о лунную поверхность из-за переключенного по ошибке тумблера в системе автоматического наведения.
Будучи людьми, мы избегаем причинять друг другу вред, стараясь предугадать намерения друг друга. Нам помогают эмоции. Благодаря им мы предсказуемы. Ученые NASA в Исследовательском центре Эймса изучали ошибки и аварии роботов как одну из опасностей космического полета (эта область называться HARI[59]). Людям трудно понять и управлять деятельностью роботов в сложном трехмерном окружении. Роботы даже не пытаются понимать людей. Если астронавт велит системе наведения аппарата врезаться в Луну, он врежется в Луну.
В одном отчете 2013 г. исследователи HARI написали, что для успешного космического полета требуется командная работа. «Чтобы сложилась успешная команда людей, ее члены должны разделять общую цель, иметь общие ментальные модели, подавлять индивидуальные потребности ради потребностей группы, рассматривать доверительные отношения как нечто положительное, понимать свою роль в рамках команды и соответствовать ей. Роботы же не имеют ментальных моделей, индивидуальных ценностей и руководящих убеждений и даже самомотивации; роботы лишены существенных качеств успешного члена команды».