, описывающую, какой выход будет получен при любом данном входе, — как у кнопки извлечения квадратного корня на калькуляторе. Эта спецификация является прямым аналогом цели, заданной ИИ-системе. Вспомогательная подпрограмма не должна отключаться и возвращать управление более высоким уровням программного комплекса, пока не получит результат, отвечающий спецификации. (Это должно напомнить вам об ИИ-системе, упорствующей в своем узколобом преследовании поставленной цели.) Лучшим подходом было бы допустить в спецификации неопределенность. Например, подпрограмме, выполняющей некие ужасно сложные математические вычисления, обычно дается предел погрешности, определяющий требуемую точность ответа, и она должна выдавать ответ, верный в этих пределах. Иногда для этого необходимо несколько недель расчетов. Возможно, лучше быть менее точными в отношении допустимой ошибки, чтобы подпрограмма могла вернуться через 20 секунд и сообщить: «Я нашла
настолько-то точное решение. Этого достаточно, или вы хотите, чтобы я продолжила?» В некоторых случаях вопрос может передаваться через всю иерархию вплоть до высшего уровня программного комплекса, чтобы человек-пользователь мог давать системе дальнейшие указания. Ответы человека помогли бы уточнить спецификацию на всех уровнях.
Рассуждения того же типа можно применить и к таким структурам, как правительства и корпорации. Очевидные промахи властей включают чрезмерное внимание, уделяемое предпочтениям (финансовым, а также политическим) некоторых лиц, облеченных властью, и пренебрежение предпочтениями тех, кем они управляют. Выборы призваны сообщить правительству о предпочтениях людей, но, как представляется, имеют удивительно узкий охват (порядка одного байта информации каждые несколько лет) для столь комплексной задачи. Во многих странах правительство есть всего лишь средство для какой-то группы людей навязать свою волю другим. Корпорации дальше заходят в стремлении узнать предпочтения клиентов через исследования рынка или непосредственную обратную связь в форме решений о покупке. В то же время формирование человеческих предпочтений с помощью рекламы, культурного влияния и даже зависимости от химических веществ считается приемлемым способом ведения бизнеса.
ИИ способен преобразовать мир, и процессом преобразования необходимо каким-то образом управлять. Если судить просто по числу проектов разработки эффективного управления ИИ, то дела у нас идут блестяще. Буквально каждый желающий создает комитет, совет или международную экспертную группу. Международный экономический форум выделяет почти 300 отдельных проектов выработки этических принципов ИИ. Содержимое моей электронной почты можно описать как одно бесконечное приглашение на «Глобально-всемирный саммит-конференцию-форум по проблеме будущего международного управления социальным и этическим воздействием формирующихся технологий ИИ».