Стандартная модель, лежащая в основе значительной части технологий XX в., опирается на машины, оптимизирующие фиксированную, поступающую извне целевую функцию. Как мы видели, эта модель имеет фундаментальные недостатки. Она работает, только если задача гарантированно является полной и верной или если оборудование можно легко отключить. Оба эти условия перестанут выполняться по мере роста возможностей ИИ.
Если поступающая извне целевая функция может быть неверной, то для машины не имеет смысла действовать так, словно она всегда верная. Отсюда вытекает мое предложение полезных машин, то есть таких, от которых можно ожидать действий, направленных на достижение наших целей. Поскольку эти цели находятся в нас, а не в них, машинам понадобится больше узнавать о наших реальных желаниях путем наблюдения за тем, что мы выбираем и как. Машины, сконструированные подобным образом, должны быть покорны людям: они будут спрашивать разрешения, действовать с осторожностью в отсутствие четких ориентиров и позволять себя выключить.
Эти начальные условия ориентированы на упрощенную идеализированную среду, но я уверен, что они сохранятся и при переносе в более реалистичное окружение. Мои коллеги уже успешно применили аналогичный подход к таким практическим проблемам, как взаимодействие автономного автомобиля с водителем[331]. Например, машины с автопилотом удручающе плохо воспринимают знак «4 стопа»>{19} на перекрестках, если неясно, у кого преимущество. Когда же эта задача формулируется в виде игры в помощника, машина предлагает новаторское решение: она немного сдает назад, чтобы показать, что решительно не намерена двигаться первой. Человек на другой стороне перекрестка понимает этот сигнал и начинает движение, уверенный, что столкновения не будет. Очевидно, мы, эксперты-люди, могли бы подумать об этом решении и запрограммировать его в транспортном средстве, но этого не сделали; машина совершенно самостоятельно изобрела эту форму коммуникации.
Я полагаю, что по мере приобретения большего опыта в других средах мы будем удивлены спектром и гибкостью поведения машин в ходе их взаимодействия с человеком. Мы настолько привыкли к тупости машин, демонстрирующих негибкое, заданное программой поведение или преследующих четкие, но неверные цели, что можем быть поражены тем, насколько чувствительными они становятся. Технология доказуемо полезных машин составляет ядро нового подхода к разработке ИИ и основу новых отношений между людьми и машинами.
Представляется также возможным применить аналогичные идеи к перестройке других «машин», призванных служить людям, начиная с обычных программных систем. Нас учат создавать программное обеспечение, соединяя вспомогательные подпрограммы, каждая из которых имеет четко определенную