ПАТ: По-моему, ты собираешься съесть один и тот же пирог дважды.
СЭНДИ: Может, ты и права. Я только хотела сказать, что когда искусственный интеллект появится, он будет одновременно механическим и органическим. Он будет обладать той же удивительной гибкостью, которую мы находим в живых механизмах. Да-да, я не оговорилась! Под “механизмом” я понимаю именно “механизм” ДНК, и энзимы действительно совершенно механистичны и надежны. Ты с этим согласна, Пат?
ПАТ: Это верно. Но когда они работают вместе, часто случаются самые неожиданные вещи. Существует так много сложностей и разнообразных моделей поведения, что в результате всей этой механичности получается нечто весьма текучее.
СЭНДИ: Мне кажется совершенно невообразимым этот переход от механического уровня молекул к живому уровню клетки. Но именно это и убеждает меня в том, что люди по сути являются машинами. В каком-то смысле эта мысль меня смущает, но с другой стороны, она же меня радует.
КРИС: Если люди — машины, то почему тогда их так трудно в этом убедить? Наверняка машины должны быть способны осознавать собственную машинность.
СЭНДИ: Ты должен учитывать эмоциональный фактор. Если тебе говорят, что ты — машина, это означает, что ты — не что иное, как сумма твоих физических частей, а это ставит тебя лицом к лицу с тем, что ты смертен. Этот факт нелегко принять. Но оставим в стороне эмоциональное возражение. Чтобы увидеть, что ты — машина, ты должен перескочить с низшего, полностью механического уровня на уровень, где происходит сложная жизнедеятельность. Промежуточные уровни при этом действуют как щит, и механичность становится почти невидимой. Именно такими разумные машины покажутся нам — и самим себе — если они когда-либо появятся.
ПАТ: Я однажды слышала забавное предположение о том, что произойдет, если у нас когда-нибудь появятся разумные машины. Когда мы попытаемся наделить этим разумом приспособления, которые мы захотим контролировать, то обнаружим, что их поведение далеко не всегда предсказуемо.
СЭНДИ: Может быть, у них внутри будет этот странный маленький огонек?
ПАТ: Возможно.
КРИС: Так что же в этом забавного?
ПАТ: Подумай о военных снарядах. Согласно этой идее, чем сложнее будет их целенаводящее компьютерное устройство, тем менее предсказуемым оно окажется. Рано или поздно некоторые снаряды решат, что они пацифисты, повернут обратно и спокойно приземлятся дома, не взорвавшись. Можно даже вообразить себе “разумные пули”, которые поворачивают на полпути, потому что не желают совершать самоубийства.
СЭНДИ: Как мило!