. Кроме того, ИИ-системы способны продуцировать миллионы ложных идентичностей — так называемые армии ботов, ежедневно выдающих миллиарды комментариев, твитов и рекомендаций, и попытки обычных людей обмениваться надежной информацией утонут в этом потоке. Такие онлайновые торговые площадки, как eBay, Taobao и Amazon, обеспечивающие доверие между покупателями и продавцами при помощи систем репутаций
[149], постоянно воюют с армиями ботов, создаваемыми для разрушения этих рынков.
Наконец, методы контроля могут быть прямыми, если правительство способно ввести системы поощрения и наказания на основе поведения. Такая система рассматривает людей как алгоритмы обучения с подкреплением, натаскивая их на оптимизацию достижения цели, установленной го сударством. Государству, особенно построенному на принципе вертикальной социальной инженерии, соблазнительно рассуждать следующим образом: для каждого было бы лучше вести себя хорошо, быть патриотом и способствовать прогрессу своей страны; технология позволяет измерять поведение индивида, его взгляды и вклад в общее дело; следовательно, все только выиграют, если создать технологичную систему мониторинга и контроля, основанную на поощрении и наказании.
Подобная логическая цепочка имеет ряд недостатков. Во-первых, она игнорирует психологические издержки жизни в системе навязанного мониторинга и принуждения. Внешняя гармония, прикрывающая внутреннюю несчастность, едва ли является идеалом. Любое проявление доброты перестает быть проявлением доброты и становится действием по максимизации личного рейтинга и соответственно воспринимается адресатом. Что еще хуже, сама идея проявления альтруизма постепенно превращается в смутное воспоминание о чем-то, что когда-то было нормой. При такой системе, навещая друга в больнице, совершаешь поступок, имеющий не больше нравственного значения и эмоциональной ценности, чем если останавливаешься на красный свет. Во-вторых, эта схема подвержена той же ошибке, что и стандартная модель ИИ, а именно, она предполагает, что заявленная цель действительно является истинной, глубинной целью. Неизбежно восторжествует закон Гудхарта, и индивиды начнут оптимизировать официальные параметры внешнего поведения, как университеты научились оптимизировать «объективные» показатели «качества» из систем университетских рейтингов, вместо того чтобы повышать настоящее (но неизмеряемое) качество[150]. Наконец, введение единого параметра добродетельности упускает из виду то, что успешное общество может объединять очень разных индивидов, каждый из которых вносит в него уникальный вклад.