С исчезновением практического стимула передачи нашей цивилизации следующему поколению станет очень трудно обратить процесс вспять. Триллион лет суммарного обучения окажется, буквально, потерянным. Мы превратимся в пассажиров прогулочного лайнера, управляемого машинами, в круизе, который продолжается вечно, — в точном соответствии с предвидением мультфильма «ВАЛЛ-И».
Убежденный консеквенциалист скажет: «Очевидно, это нежелательное последствие чрезмерной автоматизации! Правильно сконструированные машины никогда этого не сделают!» Верно, но вдумайтесь, что это означает. Машины могут хорошо понимать, что автономия и компетенция человека — это важные аспекты того, как мы предпочитаем проводить свою жизнь. Они могут добросовестно настаивать, чтобы люди сохраняли контроль над собственным благополучием и ответственность за него, — иными словами, машины скажут «нет». Однако мы, близорукие, ленивые люди, необязательно с ними согласимся. Это пример трагедии общих ресурсов в действии: каждому отдельному человеку, возможно, покажется бессмысленным тратить долгие годы самоотверженной учебы на приобретение знаний и навыков, которыми машины уже владеют, но если все будут думать так, человечество коллективно утратит автономию.
Решение этой проблемы, как представляется, носит культурный, а не технический характер. Нам понадобится движение в сторону переформирования наших идеалов и предпочтений в направлении автономии, способности к деятельности и знаниям, прочь от сибаритства и зависимости — если хотите, современная, окультуренная версия воинского идеала древних спартанцев. Это будет означать конструирование человеческих предпочтений во всемирном масштабе наряду с радикальными изменениями в том, как функционирует наше общество. Чтобы не ухудшить плохую ситуацию, нам может потребоваться помощь сверхинтеллектуальных машин, как в оформлении решений, так и в реальном процессе обретения равновесия каждым индивидом.
Любому родителю маленького ребенка знаком этот процесс. Когда ребенок проходит стадию беспомощности, выполнение родительских обязанностей требует постоянно меняющегося равновесия между полюсами: делать для ребенка все и целиком или полностью предоставить его самому себе. На определенном этапе ребенок начинает понимать, что родитель прекрасно может завязать ему шнурки, но сознательно не делает этого. Это ли будущее человеческой расы — вечно находиться на положении ребенка, на попечении совершенных машин? Думаю, нет. Хотя бы потому, что дети не могут выключить своих родителей. (Слава богу!) В нашем современном мире в действительности нет аналога отношениям, которые сложатся у нас в будущем с полезными интеллектуальными машинами. Нам еще предстоит узнать, чем закончится игра.