Байерли был совершенно обескуражен.
— Я не ожидал услышать это от вас. Я рассчитывал на вашу поддержку.
— Но это невозможно, Стивен! Все ваши выводы основаны на неверных допущениях. Вы признали, что Машина не может ошибаться, признали, что и неверные данные ей подсунуть невозможно. А теперь я готова доказать, что и повиноваться Машине тоже невозможно, как это, на ваш взгляд, делает «Общество».
— С этим я совершенно не согласен.
— Тогда слушайте. Каждое действие любого ответственного лица, не согласующееся с рекомендациями Машины, становится ей известно и учитывается при решении очередной проблемы. Машине, таким образом, становится известна склонность данного лица к неповиновению. Машина может даже качественно оценить последствия этого, то есть предвидеть, в какой степени и в каком направлении ее рекомендации будут нарушены. И последующий ответ Машины будет, естественно, скорректирован таким образом, чтобы непослушание данного исполнителя автоматически привело к оптимальным результатам. Машина знает, Стивен!
— Но вы не можете быть в этом уверены. Это просто ваша догадка.
— Догадка, не спорю, но основана она на многолегнем опыте работы с роботами. И будет лучше, если вы положитесь на эту догадку, Стивен!
— Но что же тогда получается? С Машинами, как и с вводимыми в них данными, все в порядке. Не слушаться их, как вы говорите, тоже невозможно. Но что же тогда не в порядке?
— Вы сами ответили на свой вопрос. Все в порядке. Задумайтесь немного о самих Машинах, Стивен. Они роботы и повинуются Первому Закону. Но Машина призвана заботиться не об отдельном человеке, а обо всем человечестве. Следовательно, для них Первый Закон должен звучать так: «Ни одна Машина не может причинить вред человечеству или своим бездействием допустить, чтобы человечеству был причинен вред».
Отлично. А теперь, Стивен, давайте зададим себе вопрос: какой вред может быть причинен человечеству? Что ему грозит? Больше всего нарушения баланса в экономике по какой бы то ни было причине. Не так ли?
— Так.
— А из-за чего могут возникнуть самые большие нарушения баланса в экономике, Стивен? Попробуйте ответить.
— Ну… — неохотно начал Стивен, — пожалуй, из-за разрушения Машин. Я бы так сказал.
— И я бы так сказала. Именно так и должны отвечать себе на этот вопрос сами Машины. Их первейшей задачей, стало быть, становится самосохранение, но ради нас. Именно поэтому они незаметно взяли под контроль тех людей, которые могли бы им угрожать. Вовсе не «Общество защиты прав человека» раскачивает лодку, чтобы в конце концов добиться демонтажа Машин. Вы смотрели на обратную сторону картины. Гораздо правильней будет сказать, что это сами Машины раскачивают лодку — не сильно, ровно настолько, чтобы стряхнуть за борт тех, кто преследует цели, которые Машинам представляются опасными для человечества.