— скажем, когда вы вводите пароль в интернет-приложении, то хотите быть уверены, что он будет зашифрован до отправки, чтобы кто-нибудь, подсматривающий в сети, не смог прочитать ваш пароль. Такие цифровые системы часто являются доказуемо надежными, но в реальности остаются уязвимыми для атак. Ложное допущение здесь состоит в том, что это цифровой процесс. Это не так. Он функционирует в реальном, физическом мире. Слушая звуки вашей клавиатуры или измеряя напряжение в электрической цепи, питающей ваш персональный компьютер, взломщик может «услышать» пароль или увидеть вычисления в процессе кодирования/декодирования. Специалисты по компьютерной безопасности сегодня противодействуют этим так называемым атакам по сторонним каналам — например, пишут такую программу кодировки, которая создает одни и те же изменения напряжения, независимо от того, какое сообщение кодируется.
Давайте рассмотрим своеобразную теорему, которую в дальнейшем захотим доказать, — о машинах, полезных для людей. Вот один из возможных вариантов:
Предположим, машина имеет компоненты А, В и С, соединенные друг с другом таким-то образом и в определенной среде, а также внутренние алгоритмы обучения lA, lB, lC, оптимизирующие вознаграждение с внутренней обратной связью rA, rB, rC, определяемые таким-то образом, и [еще несколько условий] … тогда с очень высокой вероятностью поведение машины будет очень близко в смысле полезности (для людей) к наилучшему возможному поведению, реализуемому в любой машине с теми же вычислительными и физическими возможностями.
Суть в том, чтобы такая теорема выполнялась независимо от того, насколько умными стали компоненты, — то есть судно никогда не дало бы течь и машина всегда оставалась бы полезной для людей.
Имеет смысл отметить еще три момента в отношении теорем этого типа. Во-первых, нечего и пытаться доказать, что машина ведет себя оптимально (или хотя бы близким к оптимальному образом) по отношению к нам, потому что это почти наверняка невозможно сделать путем вычислений. Например, мы можем захотеть, чтобы машина безупречно играла в го, но есть все основания полагать, что это не может быть сделано за любой разумный промежуток времени в любой физически реализуемой машине. Поэтому в теореме говорится о «наилучшем возможном», а не «оптимальном» поведении.
Во-вторых, мы говорим «с очень высокой вероятностью…очень близко», потому что это обычно лучшее, чего можно добиться от обучающейся машины. Скажем, если машина учится играть в рулетку в наших интересах и 40 раз подряд выпадает зеро, машина может обоснованно заключить, что имеет место жульничество, и делать соответствующие ставки. Однако это