Как способ контроля непрерывно совершенствующегося ИИ, в конечном итоге будет создан более простой ИИ. К этому неизбежно придут в своем развитии Web-доктора. Следующим шагом будет постепенное построение целой системы, наподобие матрешки, в которой человек сможет контролировать только ИИ начального уровня. Но даже самая умная собака не поймет нюансов дебатов о пошлинах на ввоз мяса. Даже самый гениальный математик не сможет свободно ориентироваться в 8, 12, 20-мерном пространстве.
При современных темпах развития электроники человек неизбежно окажется в подобном положении. Не поможет даже увеличение числа людей, занимающихся проблемой контроля за ИИ, — по достижении определенной их численности в дело вступят те же законы Паркинсона. Эффективность действий даже самого большого коллектива нельзя поднимать бесконечно.
Против подобных доводов — о тупиковости развития охранных ИИ, о неизбежности девиации потребительских ИИ вообще — есть сильный контрдовод: все ИИ будут снабжены ограничениями, построенными по законам Азимова (машина не имеет права…). Зачем контролировать процесс, если можно задать его начальные параметры? Но, увы, это ненадежный путь. Со времени гильотины механизмы убивали и продолжают убивать людей, причем как с согласия государства (сейчас ядовитую инъекцию осужденному в некоторых штатах США осуществляет автомат), так и без оного. Человек причиняет вред человеку, и в обозримом будущем это не удастся предотвратить. Противоречие между действительностью и начальными установками неизбежно приведет к изменению характеристик самообучающегося ИИ. Поэтому трудно требовать от ИИ соблюдения законов Азимова, если сами люди не соблюдают категорический императив Канта. А человек всегда будет отчасти средством для других людей, пока будет оставаться лучше машины хоть в каком-то своем качестве. Наконец, законы Азимова не предотвращают гедонистического упадка человечества.
Посредники между человеком и ИИ лишь оттянут момент утраты контроля за последним.
Человеческое сознание должно само обладать возможностями машины. Выполнимо ли это?
Это станет осуществимо, как только возможности вычислительной техники и математики позволят описать все процессы мышления человека. Программа, точно копирующая сознание, возможна настолько, насколько возможны другие программы, описывающие физические, психические, химические процессы.
Если человек хочет безгранично усовершенствовать свое сознание, делать его всё более могущественным, необходимо менять его носитель — это очевидно. Причем новый носитель не должен иметь ограничений в наращивании мощностей, иначе это будет еще один тупиковый путь развития. Это могут дать только компьютеры.