Мы уже ставили на это прежде и проигрывали. Как обсуждалось в предыдущих главах, физика начала 1930-х гг., олицетворяемая лордом Резерфордом, убедительно говорила о невозможности извлечения атомной энергии, но изобретение Лео Силардом в 1933 г. цепной реакции, инициируемой нейтронами, доказало, что эта убежденность не имела под собой оснований.
Прорыв, совершенный Силардом, пришелся на неудачное время — начало гонки вооружений с нацистской Германией. Тогда не было возможностей развивать атомную технологию во благо. Через несколько лет, продемонстрировав цепную реакцию деления атомных ядер в своей лаборатории, Силард написал: «Мы все выключили и пошли по домам. Той ночью я почти не сомневался, что мир движется к бедствию».
Еще слишком рано об этом беспокоиться
Часто видишь здравомыслящих людей, пытающихся успокоить встревоженное общество утверждениями, что, поскольку ИИ человеческого уровня вряд ли появится еще несколько десятилетий, бояться нечего. Например, как говорится в отчете AI100, «нет причины беспокоиться, что ИИ представляет собой непосредственную угрозу для человечества».
Этот аргумент порочен в двух отношениях. Во-первых, он использует логическую уловку: беспокойство проистекает не из близости катастрофы. Например, Ник Бостром пишет в «Сверхразумности»: «В этой книге никоим образом не утверждается, что мы стоим на пороге большого прорыва в изучении ИИ или что мы можем сколько-нибудь точно предсказать, когда это достижение может произойти». Во-вторых, долгосрочный риск может вызывать тревогу уже сейчас. Верный момент, чтобы начать беспокоиться из-за потенциально серьезной проблемы для человечества, определяется не только моментом ее возникновения, но тем, сколько нужно времени, чтобы подготовить и осуществить ее решение.
Например, если бы мы обнаружили большой астероид, который столкнется с Землей в 2069 г., разве мы бы сказали, что беспокоиться слишком рано? Наоборот! Был бы создан экстренный всемирный проект по разработке средств противодействия угрозе. Мы не стали бы ждать 2068 г., чтобы начать работать над решением, поскольку не могли бы заранее сказать, сколько времени на это потребуется. В действительности проект планетарной защиты NASA уже работает над возможными решениями, хотя «никакой известный астероид не представляет существенной опасности столкновения с Землей в ближайшие 100 лет». Если вас это успокоило, там также сказано: «Около 74 % объектов больше 140 м, приближающихся к Земле, пока остаются необнаруженными».
Если рассматривать риски всемирной катастрофы вследствие изменения климата, которая, по предсказаниям, случится в этом веке, можно ли сказать, что слишком рано действовать по их предупреждению? Напротив, возможно, уже слишком поздно. Соответствующая временная шкала появления сверхчеловеческого ИИ менее предсказуема, но, разумеется, это значит, что он, как и ядерный синтез, может появиться значительно раньше, чем ожидается.