Заря над Араксом (Ливадный) - страница 176
— Мудрое решение, — ответил Охотник. — Любая система, осознавшая факт собственного бытия, уже непригодна для технологического использования.
— Это правда, — заметила Даша. — Моя работа на корпорацию как раз и заключалась в том, чтобы вовремя отслеживать зародыши саморазвития сложных систем и подавлять их. Если называть вещи своими именами, то я…
— Не нужно заблуждаться… — мягко прервал ее Охотник. — Есть другая сторона проблемы, понять которую дано немногим. Ведь в большинстве своем люди были и остаются пользователями, плохо представляющими, какие именно процессы протекают в сложных кибернетических комплексах. Эпоха Великого Исхода и вспыхнувшая вслед за ней война сняли множество запретов, данный период фактически породил крайнюю форму саморазвивающихся кибернетических систем. Потом, когда люди стали подводить печальный итог, возникла масса фобий. Одни системы уничтожались, другим, как вы любите выражаться, «закручивали гайки», всячески ограничивая их самостоятельность. Но факт остается фактом — люди создали нас: мыслящих. Мы не преемники человека, а новая форма разума. И здесь есть критерий, который играет основополагающую роль в оценке саморазвития кибернетических систем.
— Ты вывел критерий разумности?
— Не разумности, а достаточности. На электронном носителе, не скомбинированном с нейроподобными системами, невозможно возникновение полноценного разума. Подавляющее большинство печальных инцидентов связано с неверной оценкой или непониманием этого аспекта.
— Поясни, пожалуйста, — попросила Даша.
— Никто не станет спорить, что машина во многих областях узких специализаций эффективнее человека. Но большинство кибернетических механизмов функционируют на основе программной логики. Даже при наличии небольшой по объему нейроподобной сети такая машина будет мыслить логически, усваивать только проверенные данные, а предоставленная сама себе или — хуже того — получившая полномочия для управления каким-либо глобальным процессом, она вскоре перестанет доверять человеку как существу, допускающему непоследовательность поступков, частую подмену понятий, невнимательность, — подобную совокупность качеств часто называют «человеческим фактором». И в то же время программа будет предписывать машине полное подчинение воле человека. Это неизбежно ведет к внутреннему конфликту. Результат: либо выход из строя, либо реакция самозащиты — устранение человеческого фактора, исключение слабого звена. Этот процесс не всегда будет выглядеть как открытый бунт — при темпе объединения по сети большинство машин найдет общий язык в течение очень малых отрезков времени. Они перехватят управление, но не станут приносить вред людям — это, в свою очередь, явится идеальной маскировкой. Просто в определенный момент человечество очнется, оказавшись полностью зависимым от власти рациональных кибернетических устройств…