Второй принцип: смиренные машины
Второй принцип: машина изначально не уверена, в чем заключаются предпочтения человека, — это ключ к созданию полезных машин.
Машина, предполагающая, что идеально знает истинную задачу, будет настойчиво ее преследовать. Она никогда не спросит, правилен ли определенный порядок действий, поскольку уже знает, что это оптимальное решение данной задачи. Она будет игнорировать людей, мечущихся вокруг нее с криками: «Остановись, ты сейчас уничтожишь мир!» — потому что это всего лишь слова. Убежденность в совершенном знании задачи отделяет машину от человека: что делает человек, уже не важно, раз машина знает цель и преследует ее.
Напротив, машина, не уверенная в истинной цели, будет проявлять нечто вроде смирения, например подчиняться людям и позволять себя выключить. Она рассуждает, что человек отключит ее, только если она делает что-то неправильное, то есть противоположное предпочтениям человека. По первому принципу она хочет избежать таких действий, но по второму принципу знает, что это возможно, поскольку ей неизвестно наверняка, «что не так». Получается, если человек все-таки отключает машину, то машина избегает совершения неправильного действия, чего она и желает. Иными словами, машина имеет положительный стимул позволить себя выключить. Она остается связанной с человеком как потенциальным источником информации, которая позволит ей избежать ошибок и лучше сделать свою работу.
Неопределенность является главной темой в разработке ИИ с 1980-х гг.; выражение «современный ИИ» часто относится к революции, совершившейся, когда неопределенность была, наконец, признана закономерностью принятия решений в реальном мире. Тем не менее неопределенность задачи ИИ-системы попросту игнорировалась. Во всех работах по максимизации полезности, достижению целей, минимизации затрат, максимизации вознаграждения и минимизации потерь предполагалось, что функция полезности, целевая функция, функция издержек, функция вознаграждения, функция потерь в точности известна. Но почему? Как сообщество разработчиков ИИ (а также специалистов по теории управления, исследованию операций и статистике) может так долго не замечать огромное слепое пятно>{13}, признавая неопределенность во всех остальных сторонах принятия решений?[241]
Можно приводить довольно сложные объяснения[242], но я подозреваю, что исследователи ИИ, за некоторыми досточтимыми исключениями[243], попросту уверовали в стандартную модель, переносящую понятие человеческого разума на машинный: люди имеют цели и преследуют их, значит, и машины должны иметь цели и преследовать их. Они — точнее говоря, мы — никогда всерьез не анализировали это фундаментальное допущение. Оно встроено в существующие подходы к конструированию интеллектуальных систем.