Вот на этом-то месте и начинается сценарий доктора Стрейнджлава. Убирая человека от руля, не рискуем ли мы получить вышедшую из-под контроля войну? Сторонники роботов могут указать на факт малоизвестный общественности, — что некоторые из самых смертоносных ядерных бомб давно уже включают в себя частично автономные компоненты. Быстрота и опасность, которые приписывались возможной атомной атаке Советского Союза, были столь высоки, что ядерной устрашение могло основываться лишь на частично автоматизированной системе. И несмотря на это, ни разу не было случайного применения ядерного оружия почти за полстолетия. И нет необходимости напоминать, что люди, принимающие решение, тоже могут свихнуться.
Это, однако, убеждает не всех. Приводится возражение, что когда свихнется человек, его можно успеть остановить или ограничить последствия его решения. А это может быть совсем не так, если снабдить боевых роботов сверхчеловеческим интеллектом, дать им право делать немедленный выбор, обучаться и общаться друг с другом.
И даже лучшие конструкторы роботов могут ошибаться — и ошибаются. Даже лучшая команда программистов не может все предусмотреть. Опасность здесь в невозможности застраховаться от сбоя, невозможности справиться с ошибкой, внезапностью, случаем — то есть явлениями, происходящими из того, что Клаузевиц назвал «туманом войны».
Эти мрачные размышления привели многих достойных кибернетиков в стан противников военной роботизации вообще. Но в реальности не все так четко делится на черное и белое. Существует почти бесконечный спектр сочетаний — систем, соединяющих телеуправление с различной степенью самостоятельности. И именно такие сочетания кажутся наиболее вероятным выбором для начала двадцать первого века. Роботы, как ракеты, спутники и высокотехнологичная аппаратура «нишных войн», займут свое место в военной технике цивилизации Третьей волны, готовы мы к тому или нет.
Если довести дебаты об автономных системах оружия до крайности, мы выйдем далеко за пределы всяких пределов. Если работа на переднем крае военной робототехники когда-нибудь сольется с идущими исследованиями вычислительной биологии и эволюции, все сегодняшние вопросы устареют. В группе Т-13 исследования сложных систем при Лос-Аламосской национальной лаборатории исследователи искусственной жизни изучают рукотворные системы, имитирующие живые системы, которые развиваются и вырабатывают у себя способность к независимому поведению. Исследователи в этой области тревожатся о моральных и военных последствиях. Дойне Фармер, физик из Лос-Аламоса, ушедший оттуда, чтобы создать свою фирму, пишет в соавторстве с Аллеттой да Белин: «Стоит только появиться самовоспроизводящимся военным машинам, — и тогда, даже если мы передумаем… их демонтаж может оказаться невыполнимым — они могут выйти из-под контроля в буквальном смысле слова».