Когда команда с Земли проинформировала компьютерный интеллект на Титане о том, что люди Земли озаботились защитой жизни в Море Кракена, он спросил: «Почему?»
Настоящее
В 2015 г. Илон Маск, Билл Гейтс и Стивен Хокинг предупредили, что ИИ может представлять опасность для человечества. Маск пожертвовал на изучение этой проблемы $10 млн. Большая часть суммы ушла в Институт будущего человечества Оксфордского университета; оксфордский философ Ник Бостром написал влиятельную книгу, в которой обратил внимание на угрозу сверхразума. Бостром указал, что возникновение машины, достаточно умной, чтобы захватить мир, будет, скорее всего, событием неожиданным и стремительным. Кого-то посетит великое озарение, вслед за ним множество конкурентов вложат значительные средства в использование этого озарения, и в конце концов компьютер сам направит свои быстроту и мощность на достижение экспоненциального роста своего разума.
Проблема будет не только в том, что по сравнению с умом этого компьютера наш мозг покажется ганглием червя. Настоящая проблема будет в мотивации — или воле — этого ИИ и его невероятной мощи. Будет ли разумный компьютер частью интернета, созданной зарабатывать деньги для Google? Будет ли он создан, чтобы обеспечить какой-то одной нации военное доминирование над остальными? Или он будет следить за человеческим поведением и управлять им? Органические существа мотивированы эволюционным влечением выживать и воспроизводиться. Но ценности сверхразума будут заложены его создателями, чья собственная разумность будет слишком примитивной для понимания последствий своего выбора.
Даже людям ум не обязательно дает мотивацию или волю, которая осмысленна или полезна. Андерс Сандберг из Института будущего человечества вместе с Бостромом указывал, что мотивация компьютера обусловлена тем, как его устроил человек. «Любой, кто хотя бы раз в жизни программировал, знает, как просто сделать ошибку, — говорит он. — Так что получить патологичную волю тоже довольно просто».
Андерс говорит: «Предположим, к примеру, что мы можем создать робота, способного совершенствовать свой ум, и дали ему задачу делать скрепки. В качестве попутной цели к производству скрепок он делает себя умнее. Но это не входило в наши планы. Нам просто нужны были скрепки. Теперь у нас есть сверхразумный агент, у которого есть выверенный план того, как превратить в скрепки всю вселенную. В этот момент мы можем сказать: «Погоди, я не это имел в виду!» — но это нам не поможет, потому что мы превращаемся в груду скрепок».