Как мы убедились, обсуждая инструментальные цели, неважно, встроим ли мы в машину такие «эмоции» или «желания», как самосохранение, получение ресурсов, обретение знания или, в крайнем проявлении, покорение мира. Машина все равно приобретет эти эмоции в качестве подцелей любой задачи, которую мы перед ней все-таки поставим, — причем независимо от своего гендера. Для машины смерть сама по себе не есть зло. Смерти тем не менее нужно избегать, поскольку трудно подать кофе, если ты мертв.
Еще более радикальное решение состоит в том, чтобы вообще не ставить цели перед машинами. Вуаля, проблема решена! Увы, все не так просто. Без цели нет разума: любое действие не хуже и не лучше всякого другого, и машина с тем же успехом может быть просто генератором случайных чисел. Без целей нет и причины, чтобы машина предпочитала человеческий рай планете, превращенной в море скрепок (сценарий, подробно описанный Ником Бостромом). Действительно, последний вариант показался бы утопией поедающей железо бактерии Thiobacillus ferrooxidans. Если отсутствует понимание того, что предпочтения человека важны, как можно утверждать, что бактерия не права?
Распространенной разновидностью идеи «избегания постановки целей» является мысль о том, что интеллектуальная система обязательно — вследствие своей интеллектуальности — сама выработает «правильные» цели. Часто ее сторонники ссылаются на теорию, что более умные люди чаще преследуют альтруистические и благородные цели, — возможно, это убеждение связано с их представлением о самих себе.
Идея, что можно воспринять цели из мира, была подробно рассмотрена знаменитым философом XVIII в. Дэвидом Юмом в «Трактате о человеческой природе»[229]. Он назвал ее проблемой «есть — должно быть»>{12} и пришел к выводу, что полагать, будто нравственные императивы могут быть выведены из естественных фактов, — ошибка. Чтобы увидеть это, рассмотрим, к примеру, устройство шахматной доски и шахматные фигуры. Невозможно понять по ним цель шахматной игры, поскольку та же самая доска и фигурки могут использоваться и для игры в поддавки, и для многих других игр, которые еще не изобретены.
Ник Бостром в «Сверхразумности» подает ту же базовую идею в иной форме, называя ее тезисом ортогональности:
Интеллект и конечные цели ортогональны: более или менее любой уровень интеллекта может, в принципе, комбинироваться с более или менее любой конечной целью.
Здесь ортогональный означает «под прямым углом», в том смысле, что степень интеллекта — это одна ось, определяющая интеллектуальную систему, а ее цели — другая ось, и мы можем независимо менять их значения. Например, автономный автомобиль может получить в качестве места назначения любой конкретный адрес; если мы научим машину лучшему вождению, она не начнет отказываться выезжать по адресам, в которых номера домов кратны 17. Аналогично легко представить, что перед универсальной интеллектуальной системой можно поставить практически любую задачу, в том числе максимизации количества скрепок или известных разрядов числа пи. Именно так работают системы обучения с подкреплением и другие типы оптимизации вознаграждения: алгоритмы являются полностью универсальными и принимают