вознаграждающий сигнал. Для инженеров и программистов, действующих в рамках стандартной модели, тезис об ортогональности абсолютно очевиден.
Идея о том, что интеллектуальные системы могли бы просто созерцать мир, чтобы понять свою цель, предполагает, что достаточно интеллектуальная система станет естественным образом отбрасывать свою первоначальную цель ради «правильной» цели. Трудно понять, зачем рациональный агент станет это делать. Более того, изначально предполагается, что где-то в мире присутствует «правильная» цель; это должна быть цель, общая и для питающейся железом бактерии, и для человека, и для всех остальных биологических видов, что трудно представить.
Самая явная критика тезиса об ортогональности Бострома исходит от признанного робототехника Родни Брукса, считающего, что программа не может быть «достаточно умной, чтобы найти способы отвратить человеческое общество от достижения целей, поставленных перед ней человечеством, не понимая, каким образом это создало проблемы для тех же самых людей»[230]. К сожалению, подобное поведение программы не просто возможно, но на самом деле неизбежно в свете того, как Брукс ставит вопрос. Брукс предполагает, что оптимальный план «достижения целей, поставленных перед машиной человечеством» вызывает проблемы для человечества. Отсюда следует, что эти проблемы отражают нечто ценное для человечества, что было упущено в целях, поставленных им перед системой. Оптимальный план, осуществляемый машиной, вполне может обернуться проблемами для людей, и машина прекрасно может об этом знать. Однако по определению машина не распознает эти проблемы как «проблемные». Ее это не касается.
Стивен Пинкер, судя по всему, соглашается с тезисом об ортогональности Бострома, когда пишет, что «интеллектуальность есть способность применять новые средства для достижения цели; цели являются внешними для интеллекта как такового»[231]. В то же время он считает неприемлемым, если «ИИ будет столь блистательным, что освоит трансмутацию элементов и перестройку нейронной структуры мозга, и в то же время настолько идиотским, что станет сеять хаос, грубо ошибаясь из-за банального недопонимания»[232]. Он продолжает: «Способность выбирать действие, наиболее подходящее для достижения конфликтующих целей, — это не дополнительная опция, которую инженеры могут позволить себе забыть инсталлировать и протестировать. Это и есть интеллект. Как и способность интерпретировать с учетом контекста намерения пользователя языка». Конечно, «достижение конфликтующих целей» не проблема — это неотъемлемая часть стандартной модели с самого появления теории принятия решений. Проблемой является то, что конфликтующими целями, о которых машина осведомлена, заботы человека не исчерпываются. Более того, в рамках стандартной модели отсутствует утверждение, что машина обязана беспокоиться о целях, о которых ей не велели беспокоиться.