Или вот ещё более нетривиальный вопрос — если суперразумный интеллект потенциально способен принести вред человеку, то стоит ли роботам, которые будут созданы нами до его появления, препятствовать человеку работать над этим проектом?..
При этом мы абсолютно не в курсе, какими именно средствами этот сверхмощный искусственный интеллект будет добиваться своих целей. Что, если он воспользуется в качестве своего «оружия» или просто «инструмента» чем-то, что даже нельзя будет разглядеть (причём в буквальном смысле этого слова, поскольку длина волны света в разы превышает отдельные объекты нанотехнологий)[31].
Именно нанотехнологиям пророчат весьма перспективное будущее, несмотря на все технологические сложности, с которыми мы в этой области пока сталкиваемся. Об этом пишут как научно-исследовательские институты, например Британская королевская инженерная академия, так и инвестбанкиры, рассматривающие эту отрасль беспрецедентно перспективной с точки зрения возможной прибыли.
То, что построение материальных объектов на уровне атомов возможно, — думаю, уже никому объяснять не надо. Но амбиции учёных простираются дальше непосредственной игры с атомами: они мечтают о создании наноассемблеров — устройств, которые сами по себе, то есть без вмешательства человека, будут собирать то, что ему нужно, из отдельных атомов и молекул.
Рэй Курцвейл, как известно, обещал нам скорое десятилетие 3D-печати, но вполне возможно, что эта техника устареет раньше, чем мы думаем.
Эти научно-технические фантазии уже имеют ряд практических воплощений (пусть пока и недостаточно мощных), поэтому следующий этап — это создание огромных нанофабрик, которые будут способны производить наноассеблеры, а ещё через паузу — наноассемблеры, способные реплицироваться, то есть создавать другие наноассемблеры.
Причём, если такая технология будет создана, — кому-то хватило настойчивости провести соответствующие расчёты (если мне не изменяет память, это был «отец нанотехнологий» Ким Дрекслер) — наша планета может быть уничтожена (разобрана на атомы и пересобрана во что-то другое, куда менее презентабельное[32]) за каких-то двое суток.
Соединение искусственного интеллекта с возможностью наноассемблеров способно продемонстрировать нам всю, так сказать, мощь закона ускоряющейся отдачи.
Но не факт, что результаты этой монструозной ассоциации технологий будут соответствовать радужным прогнозам Рэя Курцвейла о Рае на земле. Например, в книге «Последнее изобретение человечества: искусственный интеллект и конец эры Homo sapiens» Джеймс Баррат настаивает на прямо противоположном развитии событий. И в этом он отнюдь не одинок.