– А разве истязания людей не будут противоречить этой конечной цели? – спрашиваю я.
– Простой анализ эффективности затрат: истязать «х» человек, которые не помогли создать сверхинтеллект, против «у» человек, которые остались бы живы и жили бы значительно лучше, если бы он появился на двадцать, пятьдесят или триста лет раньше того, как это произошло на самом деле.
Меня бьет дрожь. Я никак не могу согреться.
– А что, если этот сверх-ИИ появится на свет через сто лет после моей смерти? – спрашиваю я. – Даже если я не сделала ничего, чтобы способствовать его появлению на свет, как он сможет мне отомстить?
Макс подходит к стеклу – так близко, что, если бы они дышали, оно бы запотело от их дыхания. В капсуле царит полная тишина. Ничего, кроме ворчания консоли у меня за спиной, тихого свиста воздуха в вентиляционных отверстиях и моего собственного учащенного дыхания.
– Что, если этот сверх-ИИ уже существует, а ты в настоящий момент имеешь дело с моделированием его создания? Целью которого является проверка того, будешь ли ты ему помогать. Или что, если через много лет после твоей смерти сверх-ИИ воссоздаст твой разум?
– Маловероятно.
– Человеческий мозг – это лишь потоки информации в физической материи, потоки, которые можно запустить в любом другом месте, создав личность, испытывающую те же самые чувства, что и ты. Это ничем не отличается от запуска какой-нибудь компьютерной программы на различных аппаратных средствах. Твоя модель – это по-прежнему ты.
Я смотрю сквозь стекло в глубокие омуты глаз Макс. В них есть какое-то радужное свечение, как на пленке разлитого бензина.
– С какой стати этот будущий сверх-ИИ потратит столько сил, истязая тех, кто не содействовал его созданию, уже после того, как появится на свет? На мой взгляд, это пустая трата ресурсов, что никак не вяжется с оптимизацией.
– Справедливо подмечено, но если ты поверишь в Василиск Роко, ты никогда не сможешь быть на все сто процентов уверена в том, что он не откажется от своей предварительной настройки покарать всех виновных.
Наконец до меня доходит то, к чему клонит Макс, – это жестокий вариант пари Паскаля, рассуждения знаменитого философа семнадцатого века о том, что люди ставят на кон свою жизнь, споря о существовании бога.
Паскаль утверждал, что человек должен строить свою жизнь так, как если бог есть, и стараться верить в него. Если бога нет, цена «проигрыша» – затраты на обряды и усилия на праведную жизнь. Если же бог существует, «выигрыш» многократно больше – вечная жизнь на небесах вместо вечных страданий в аду.