Гуманное и радостное осуществление вселенского предназначения человечества… Звучит прекрасно, но мы должны считаться с быстрым темпом внедрения инноваций в сфере злоупотреблений. Злоумышленники так быстро изобретают новые способы неправомерного использования ИИ, что эта глава, скорее всего, устареет еще до того, как книга пойдет в печать. Отнеситесь к дальнейшим главам не как к поводу для депрессии, а как к призыву действовать, пока не поздно.
Наблюдение, убеждение и контроль
Автоматизированное Штази
>{7}Ministerium für Staatsicherheit, более известное как Штази, многими считается «одним из самых эффективных и репрессивных ведомств разведки и тайной полиции в истории»[143]. Оно копило досье на большинство восточногерманских домохозяйств, прослушивало телефонные разговоры, читало письма и ставило скрытые камеры в жилых домах и отелях. Оно с безжалостной эффективностью выявляло и пресекало деятельность диссидентов, отдавая предпочтение психологическому уничтожению перед тюремным заключением или физическим устранением. Однако такой уровень контроля давался большой ценой: по некоторым оценкам, более четверти взрослых работоспособного возраста являлись информаторами Штази. Архивы Штази оцениваются в 20 млрд страниц[144], и задача обработки и использования громадных входящих потоков информации начинала превосходить возможности любой организации.
Неудивительно, что разведывательные органы оценили потенциал использования ИИ в своей работе. Долгие годы они применяли простые формы ИИ-технологии, в том числе распознавание голоса и идентификацию ключевых слов и фраз в устной и письменной речи. ИИ-системы все более способны понимать содержание того, что говорят и делают люди, будь то в ходе отслеживания разговоров, текстов или видеоизображения. В странах, где эта технология будет служить задаче контроля, возникнет такая же ситуация, как если бы к каждому гражданину был приставлен личный соглядатай из Штази, следящий за ним 24 часа в сутки[145].
Даже в гражданской сфере в относительно демократических странах за людьми ведется все более эффективное наблюдение. Корпорации собирают и продают информацию о наших покупках, пользовании интернетом, социальными сетями и электробытовыми приборами, звонках и текстовых сообщениях, трудовой занятости и здоровье. Наше местоположение можно отследить по мобильному телефону и автомобилю, имеющему выход в интернет. Уличные видеокамеры распознают наши лица. Все эти и многие другие данные можно собрать воедино с помощью интеллектуальных информационных систем и получить весьма полную картину того, что каждый из нас делает, как живет, кого любит и кого не любит и за кого станет голосовать