Пожалуй, главная грозная неопределенность состоит не в том, хорошо или плохо мы будем обращаться с сознающими роботами, – а в том, как будут обращаться с нами они. Обладающие сознанием роботы стали типичными для апокалиптических сценариев. В “Терминаторе” Скайнет пытается всех нас убить. В “Матрице” машины порабощают нас. Но опять же – это все научная фантастика, не реальность.
Может быть, из-за того, что мы переели научно-фантастических историй, мало кто понимает идею сознающей машины правильно. Большинство предполагает, что сознание будет включаться в машине по щелчку тумблера: машина внезапно пробудится, начнет осознавать себя как независимого деятеля, отдельного от остального мира, и немедленно устремится к удовлетворению своих собственных интересов. Она может начать убивать людей, потому что они конкурируют с ней за ресурсы. Машины с такими способностями привели бы к трагедии для человечества. Но плохая новость на самом деле вот в чем. Сверхразумные, автономные, активные машины, которые принимают решения и учитывают свои интересы, уже здесь (по крайней мере, их первые представители), и они стремительно умнеют с каждым днем. Им не нужно сознание, чтобы прийти к выводу, что люди – препятствия на их пути, и поубивать нас. Беспилотный грузовик, имеющий собственную программу действий, может переехать вас – и вы будете в любом случае мертвы независимо от того, получит ли грузовик субъективный опыт хлюпающего звука под его шинами.
Для меня как исследователя сознания вопрос стоит так: что произойдет, если мы добавим дополнительный элемент – модель себя, которая сообщит машине, что подобно тому, как у нее есть субъективный опыт, у других он тоже может быть? Как это изменит социальный баланс?[234] Думаю, что после этого будущее с разумными машинами станет более обнадеживающим.
Люди – всецело социальные животные. Это определяет нас как биологический вид. Но у человека не может быть социальной компетентности без понимания того, что такое сознание, и без способности интуитивно приписывать его другим людям. Способность эта позволяет нам признавать разумность других, понимать мысли и чувства друг друга, тщательно подбирать верные реакции. Это объединяющий людей социальный клей, корневая система социума и сотрудничества.
Представьте себе мир, в котором люди утратили это глубинное, основанное на моделях знание о сознании. Вместо него в нас встроили альтернативную схему. Мы не впали в безразличие подобно людям с тяжелыми повреждениями мозга. Мы все так же в состоянии действовать как автономные существа, учиться, учитывать свои интересы и принимать разумные решения, но все это мы делаем без малейшего понятия о сознании. Мы становимся независимыми сущностями, у каждой из которых есть собственные интересы, а с другими людьми обращаемся как с объектами. Нам не удается по-настоящему сотрудничать, хотя и хватает ума догадаться, что сотрудничество дает преимущества, – но мы больше не способны понимать, что у других людей есть сознание, а значит, и не можем угадывать психические состояния друг друга или координировать наши мысли, цели и действия. Убийство становится столь же обыденным, как отодвигание с дороги препятствия, потому что теперь мы неспособны понять ценность чужого сознания. Мы превращаемся в цивилизацию умных, целеустремленных монстров.