. Некоторые ошибки безвредны, например в случае системы эволюционного моделирования, которая должна была эволюционным путем создать быстро движущиеся существа, но на деле сотворила невероятно долговязые существа, которые быстро двигались за счет того, что падали
[76]. Есть и менее безобидные ошибки, скажем, оптимизаторы переходов в социальных сетях, превращающие наш мир в кошмар.
Последняя категория агентов, которую я рассмотрю, является самой простой. Это программы, напрямую связывающие восприятие с действием без какого-либо промежуточного обдумывания или мыслительного процесса. В сфере ИИ программа такого типа называется рефлекторным агентом, что отсылает нас к нервным рефлексам нижнего уровня у человека и животных, не связанных мышлением[77]. Например, рефлекс моргания у человека соединяет выходные сигналы низкоуровневых цепей обработки данных зрительной системы непосредственно с двигательной зоной, управляющей веками, так что любая быстро появляющаяся область в поле зрения вызывает сильное моргание. Вы можете проверить это прямо сейчас: попробуйте ткнуть себя (не слишком сильно) пальцем в глаз. Эту рефлекторную систему можно рассматривать как простое «правило» в следующем виде:
if <быстро появляющаяся область в поле зрения> then <моргание>.
Мигательный рефлекс «не знает, что делает»: задача (защитить глазное яблоко от инородных предметов) нигде не представлена; знание (что быстро движущаяся область соответствует предмету, приближающемуся к глазу, и что предмет, приближающийся к глазу, может его повредить) также нигде не представлено. Поэтому, когда нерефлекторная часть вас хочет закапать лекарство в глаза, рефлекторная часть все равно моргает.
Другой всем известный рефлекс — экстренное торможение, когда впереди идущая машина неожиданно останавливается или на дорогу шагает пешеход. Быстро решить, нужно ли тормозить, нелегко: в 2018 г., после того как экспериментальный автомобиль на автопилоте убил пешехода, компания Uber объяснила, что «маневр экстренного торможения запрещен, когда транспортное средство находится под компьютерным управлением, во избежание возможного неуправляемого поведения транспортного средства»[78]. Таким образом, задача разработчика очевидна — не убивать пешеходов, — но политика агента (если он активирован) некорректно ее реализует. Опять-таки задача в агенте не представлена: никакое автономное транспортное средство сегодня не знает, что людям не нравится, когда их убивают.
Рефлекторные действия участвуют и в таких более рутинных задачах, как соблюдение рядности: если автомобиль хотя бы минимально отклонится от идеального положения в ряду, простая система контроля с обратной связью может повернуть рулевое колесо в противоположном направлении и исправить отклонение. Величина поворота будет зависеть от того, насколько быстро машина смещается в сторону. Контрольные системы этого типа обычно разрабатываются так, чтобы минимизировать квадрат бокового отклонения, нарастающего со временем. Разработчик создает закон управления с обратной связью, по которому при определенных условиях в отношении скорости и кривизны дороги приближенно реализуется эта минимизация