газа непредсказуемым.
Высокая энтропийность системы, которую представляют собой буквы на клавиатуре пишущей
машинки, обеспечивает возможность получения очень большого количества информации. Пример
описан Гильбо: машинописная страница вмещает 25 строк по 60 знаков в каждой, на клавиатуре
42 клавиши, и каждая из них позволяет напечатать две буквы, таким образом, с добавлением
пробела, который тоже знак, общее количество возможных символов составит 85. Если, умножив
25 на 60, мы получаем 1500 позиций, то спрашивается, какое количество возможных комбинаций
существует в этом случае для каждого из 85 знаков клавиатуры?
Общее число сообщений с длиной L, полученных с помощью клавиатуры, включающей С знаков, можно определить, возводя L в степень С. В нашем случае это составит 85 возможных сообщений.
Такова ситуация равновероятности, существующая на уровне источника, и число возможных
сообщений измеряется 2895-ти значным числом.
Но сколько же операций выбора надо совершить, чтобы идентифицировать одно-единственное
сообщение? Очень и очень много, и их реализация потребовала бы значительных затрат времени и
энергии, тем больших, что, как нам известно, объем каждого из возможных сообщений равен 1500
знакам, каждый из которых определяется путем последовательных выборов между 85 символами
клавиатуры... Потенциальная возможность источника, связанная со свободой выбора, чрезвычайно
высока, но передача этой информации оказывается весьма затруднительной .
12 G Т. Guilbaud, La Cybernétique P U F , 1954
43
III.4.
Здесь-то и возникает нужда в коде с его упорядочивающим действием. Но что дает нам введение
кода? Ограничиваются комбинационные возможности задействованных элементов и число самих
элементов. В ситуацию равновероятности источника вводится система вероятностей: одни
комбинации становятся более, другие менее вероятными. Информационные возможности
источника сокращаются, возможность передачи сообщений резко возрастает.
Шеннон 13 определяет информацию сообщения, включающего N операций выбора из h символов, как I = NLg2 h (эта формула напоминает формулу энтропии).
Итак, сообщение, полученное на базе большого количества символов, число комбинаций которых
достигает астрономической величины, оказывается высокоинформативным, но вместе с тем и
непередаваемым, ибо для этого необходимо слишком большое число операций выбора. Но эти
операции требуют затрат, идет ли речь об электрических сигналах, механическом движении или
мышлении: всякий канал обладает ограниченной пропускной способностью, позволяя осуще-