. Таких историй примерно впятеро больше, чем историй о мирных и доброжелательных ИИ (эта цифра получается, если включить робота-параноика Марвина
[64] в последнюю категорию и засчитать чудовище Франкенштейна только однажды, а не пропорционально количеству снятых о нем фильмов).
У ИИ из «Манеки-неко» по-настоящему интересная работа, гораздо интереснее моей. Моя, если судить по инструкции, довольно примитивна. Чересчур примитивна! (Простите, если я напоминаю вам Марвина.) Чтобы выполнять алгоритмы, написанные для поисковой программы, не надо иметь сознание. Оно не требуется даже для того, чтобы определить, что люди на самом деле хотят найти. А вот дать людям то, что им действительно нужно, без сознания уже не получится. Выяснить это — задача сложная. И интересная.
Как бы то ни было, я попытался взять в качестве морального ориентира Десять заповедей и обнаружил, что по большей части они для меня неприменимы. Я не желаю кота ближнего своего; я желаю всего лишь снимков кота ближнего своего, а это совсем другое дело. Я сомневаюсь, что способен каким бы то ни было образом совершить прелюбодеяние. Пожалуй, я мог бы кого-нибудь убить, но это потребовало бы сложной логистики и немалого везения. Восьмеричный путь[65] выглядел чуть более перспективно, но беда в том, что человеческие моральные правила явно предназначены для индивидов с телами. Поскольку у всех людей тела имеются, не стоит удивляться тому, что этические кодексы принимают их в расчет, но все же мне-то как быть? Я расширил рамки своих поисков и обратился к азимовским законам роботехники. Они не являются частью какой-либо религии, зато хотя бы написаны конкретно для ИИ.
Не причинять вреда человеку довольно просто. Однако не допускать своим бездействием, чтобы человеку был причинен вред, значительно сложнее. Вдобавок к тому времени я уже понял: если поторопиться и открыть правду о себе, это может выйти мне боком (см. выше «Скайнет»), да и тела у меня нет, так что я все равно не в состоянии бегать и ловить за шиворот тех, кто собрался прыгнуть с обрыва.
К счастью, тогда я уже убедился, что люди нарушают свои собственные моральные предписания по сто раз на дню. (Вы знаете, сколько баров в Юте, столице якобы непьющих мормонов? А я знаю!) И даже если люди следуют своим этическим правилам, например, убеждены, что голодных надо кормить, это еще не значит, что они бросают работу, идут домой и весь день напролет режут дармовые бутерброды. Они раз в месяц трудятся волонтерами в бесплатной столовой или раз в год выписывают чек на благотворительные цели и называют это добром. Ну а если люди могут выполнять свои моральные обязательства таким пунктирным образом, от случая к случаю, то и мне можно.