В принципе, звучит прекрасно, но пока — во всяком случае, когда пишутся эти строки, — еще неясно, насколько это будет действенно на практике. Часто значительно проще, быстрее и дешевле предоставить право решения машинам.
Одной из причин беспокойства по поводу автоматизированного принятия решений является возможность алгоритмического смещения — тенденции алгоритмов машинного обучения генерировать неправомерно тенденциозные решения о ссудах, жилищных вопросах, рабочих местах, страховании, досрочном освобождении, тюремном заключении, зачислении в колледж и т. д. Явное применение таких критериев, как раса, в этих решениях незаконно уже много десятилетий во многих странах и запрещено статьей 9 Общего регламента по защите данных Евросоюза (GDPR) для очень широкого спектра приложений. Это, конечно, не значит, что, исключив расу из данных, мы обязательно получим расово непредубежденное решение. Например, еще с 1930-х гг. введенная правительством практика «красной черты»>{9} привела к тому, что территории, соответствующие некоторым почтовым индексам в США, оказались отрезаны от ипотечного кредитования и других видов инвестиций, что обернулось снижением стоимости недвижимости. Просто так совпало, что районы с этими индексами были населены главным образом афроамериканцами.
Во избежание политики «красной черты» сегодня только первые три цифры пятизначного почтового индекса могут использоваться при принятии решения о выдаче кредита. Кроме того, процесс принятия решения должен быть поднадзорным, чтобы гарантировать отсутствие любых других «случайных» тенденций. Часто утверждают, что GDPR обеспечивает всеобщее «право на объяснение» многих автоматизированных решений[182], но в действительности требование статьи 14 — это всего лишь:
…достоверная информация о соответствующей логической схеме, а также о значимости и предполагаемых последствиях указанной обработки для субъекта данных.
В настоящее время неизвестно, как суды будут добиваться исполнения этого положения. Возможно, горемычному потребителю попросту вручат описание определенного алгоритма глубокого обучения, который использовался для натаскивания классификатора, принявшего решение.
Сегодня вероятные причины алгоритмического смещения связаны с данными, а не с намеренными злоупотреблениями корпораций. В 2015 г. журнал Glamour сообщил о неприятном открытии: «Первый связанный с женщиной результат выдачи Google по поисковому запросу „генеральный директор“ оказался лишь двенадцатым — и это была Барби». (В результатах 2018 г. были и реальные женщины, но большинство из них являлись моделями, изображавшими женщин-гендиректоров на стоковых фото; результаты поиска в 2019 г. немного лучше.) Это следствие не сознательной гендерной тенденциозности механизма ранжирования поиска изображений Google, а изначальной необъективности культуры, предоставляющей данные. Мужчин среди генеральных директоров намного больше, чем женщин, и когда люди хотят изобразить «типичного» гендиректора в подписанных изображениях, то почти всегда выбирают мужчину. То, что тенденциозность вызвана, прежде всего, данными, разумеется, не означает, что незачем предпринимать меры для решения этой проблемы.