займёт у технофилов длительный и сложный период проб и ошибок (если они всё сделают). Тем временем нагрянет великое страдание. Таким образом, вовсе не очевидно, что выживание индустриального общества повлечёт за собой меньшее страдание, чем его крушение. Технология приведёт человеческую расу к катастрофе, от которой вряд ли будет легко найти какое-то спасение.
171. Но представим теперь, что индустриальное общество пережило следующие десятилетия, и что дефекты системы в конечном итоге исправлены, так что она функционирует без перебоев. Что это будет за система? Мы рассмотрим несколько вариантов.
172. Во-первых, давайте примем без доказательств, что специалисты по компьютерной технике преуспели в развитии машин с искусственным интеллектом, которые могут делать всё гораздо лучше, чем люди. В этом случае, вероятно, вся работа будет выполняться пространными, высоко организованными системами машин, а в человеческих усилиях просто не будет необходимости. Может произойти одно из двух. Машинам может быть позволено принимать все свои решения без человеческого надзора, или же человеческий контроль над ними будет сохранён.
173. В случае, если машинам будет позволено самим принимать решения, мы не можем сделать никаких предположений в отношении последствий, потому что невозможно догадаться, как такие машины будут себя вести. Мы лишь укажем, что судьба человеческой расы окажется отданной на милость машин. Можно привести доводы, что человеческая раса никогда не будет настолько безрассудной, чтобы отдать им всю власть. Но мы не будем предполагать ни того, что человеческая раса не передаст добровольно власть машинам, ни того, что они своевольно захватят её. Что мы предположим, так это то, что человеческая раса может легко позволить себе втянуться в такую зависимость от машин, что у неё практически не будет никакого выбора, кроме как принимать все их решения. Так как общество и все проблемы, с которым оно сталкивается, становится всё более и более сложным, а машины становятся всё более и более разумными, люди позволят им принимать большинство решений за них, просто потому, что решения, принятые машинами, принесут лучший результат, чем принятые людьми. В конце концов дело может вступить в такую стадию, что решения, необходимые для сохранения работоспособности системы, будут настолько сложными, что люди окажутся просто неспособными благоразумно разрешить их. На этой стадии фактически будут управлять машины. Люди же просто не смогут выключить их, потому что они будут уже настолько зависеть от них, что их отключение будет равносильно самоубийству.