«Завершающей фазой работ по созданию сначала умных машин, затем машин умнее человека, станет не их интеграция в нашу жизнь, а их победа над нами и завоевание Земли. В погоне за искусственным суперинтеллектом исследователи получат разум более мощный, нежели их собственный; они не смогут ни контролировать его, ни даже до конца понять.
Мы знаем на опыте, что происходит, когда технически развитая цивилизация встречается с менее развитой: Христофор Колумб против Тиано, Писарро против Великого Инки, европейцы против американских индейцев.
Приготовьтесь к следующему столкновению цивилизаций: мы с вами против искусственного суперинтеллекта».
ДЖЕЙМС БАРРАТ, документалист, писатель
Всё дело в том, что нейронное или генетическое программирование предполагает цель, ради которой данный интеллект создаётся. Любая же умная система, движимая своей целью, сделает всё возможное, чтобы избежать гибели, — ведь если она «умрёт», то её цель не будет достигнута.
То есть искусственный интеллект, вполне возможно, обзаведётся скоро не только языком как ленатовская Euriso или фейсбучные боты, но и чем-то вроде инстинкта самосохранения. Последующие же итерации его постоянного самосовершенствования сделают совершенно бессмысленными всякие наши попытки его сдержать или выключить.
При этом в том, что в какой-то момент нам захочется его сдержать, а потом и выключить, сомневаться не приходится. Дело в том, что инстинкт самосохранения вынудит суперинтеллект создавать новые цели, для достижения которых ему потребуются новые ресурсы, а мы с вами — поскольку состоим из молекул и атомов — и есть, в частности и кроме прочего, такой ресурс, проще говоря, кормовая база.
Да, нам, возможно, очень захочется его выключить. Но мы не сможем.
Создатели легендарной «Матрицы» предрекли нашим телам роль батареек, но и это, как выясняется, ещё очень гуманный вариант развития событий. Сверхумный интеллект найдет способ получать энергию и менее затратным способом — например, пустит нас с вами под нанонож.
Так выглядит перспективный план… И где-то прямо сейчас зарождается этот монстр — и это точно не травоядный Google с его милым AlphaGo.
В игре жизни и эволюции участвуют три игрока: люди, природа и машины.
Я прочно стою на стороне природы. Но природа, я подозреваю, на стороне машин.
ДЖОРДЖ ДАЙСОН
В 2014 году компания CBS представила сериал Стивина Спилберга и Аллена Култера «За пределами» («Extant»). Красиво снятый, но скучный сериал (как говорят в таких случаях — перемудрили, и в результате с трудом протянули два сезона) наглядно проиллюстрировал то, о чём многие специалисты по искусственному интеллекту говорят наперебой начиная ещё с Алана Тьюринга.