Однако в словах Брукса и Пинкера есть рациональное зерно. Действительно, представляется тупостью с нашей стороны допускать, чтобы машина, скажем, меняла цвет неба в качестве побочного эффекта преследования какой-то другой цели, игнорируя очевидные признаки недовольства людей результатом. Это было бы нашей глупостью, потому что мы ориентированы на то, чтобы замечать недовольство людей, и (обычно) имеем стимул этого избегать — даже если прежде не сознавали, что данным людям не все равно, какого цвета небо. А именно: мы, люди, (1) придаем значение предпочтениям других людей и (2) знаем, что не знаем всех этих предпочтений. В следующей главе я утверждаю, что эти характеристики, будучи встроены в машину, могут стать началом решения «проблемы царя Мидаса».
Возрождение дебатов
В этой главе мы бросили взгляд на дебаты, ведущиеся в широком сообществе интеллектуалов — между теми, кто указывает на риски, которые несет ИИ, и «скептиками», не замечающими особых рисков. Споры ведутся в книгах, блогах, научных статьях, коллективных обсуждениях, интервью, твитах и газетах. Несмотря на отчаянные усилия, скептики — настаивающие, что опасности ИИ пренебрежимо малы, — так и не смогли объяснить, почему сверхинтеллектуальные ИИ-системы обязательно останутся подконтрольными человеку, и даже не попытались указать причины, по которым сверхинтеллектуальные ИИ-системы никогда не будут созданы.
Под нажимом многие скептики признают, что проблема реальна, хотя и не является непосредственной. Скотт Александер в своем блоге Slate Star Codex блестяще это сформулировал[233]:
Позиция «скептиков» представляется следующей: пожалуй, неплохо было бы, если бы пара умных голов начала работать над предварительными аспектами проблемы, но незачем паниковать или пытаться запретить исследования ИИ.
«Верующие» тем временем настаивают, что, хотя незачем паниковать или пытаться запретить исследования ИИ, пожалуй, неплохо было бы, если бы пара умных голов начала работать над предварительными аспектами проблемы.
Я был бы счастлив, если бы скептики предложили неоспоримый аргумент, например, в форме простого, с «защитой от дурака» (и зла) решения проблемы контроля ИИ, но мне это кажется весьма маловероятным — не более вероятным, чем открытие простого, с «защитой от дурака», способа получать ядерную энергию с нулевым риском. Вместо того чтобы все глубже погружаться в нашизм с личными нападками и без конца вспоминать сомнительные аргументы, лучше было бы, по словам Александера, начать работать над некоторыми предварительными аспектами проблемы.