по основанию 2:
S = log
>2N. Преимущество использования логарифма в том, что единица измерения
S = 1 соответствует
N = 2 (поскольку 1 = log
>22), делая единицей информации минимальное число альтернатив – выбор между
двумя возможностями. Эта единица измерения называется
битом. Если я знаю, что на рулетке выпало красное, а не черное, я располагаю одним битом информации; узнав, что выпало
красное четное, я получаю два бита информации; когда выпадает четное красное меньшее (восемнадцать или меньшее
[117] на рулеточном жаргоне), у меня имеется три бита. Два бита соответствуют четырем альтернативам (красное четное, красное нечетное, черное четное, черное нечетное). Три бита информации соответствуют восьми альтернативам. И так далее
[118].
Ключевой момент состоит в том, что информация может где-то располагаться. Представим, например, что вы держите в руке шар, который может быть либо черным, либо белым. Допустим, что у меня тоже есть такой шар, который может быть либо черным, либо белым. Есть две возможности с моей стороны и две – с вашей. Общее число возможностей составляет четыре (2 × 2): белый-белый, белый-черный, черный-белый и черный-черный. Теперь допустим, по некоторой причине мы уверены, что эти два шара имеют разную окраску (например, потому что мы брали шары из коробки, содержащей два шара – один белый и один черный). Полное число альтернатив тогда составляет только 2 (белый-черный или черный-белый), даже если для меня и для вас остается по две альтернативы. Обратите внимание, что в этой ситуации происходит что-то странное: глядя на свой шар, вы знаете, какой цвет у меня. В этом случае говорят, что цвета двух шаров коррелированы, то есть связаны друг с другом, или, другими словами, мой шар «несет информацию» о вашем (и, конечно, наоборот).
Если подумать, это в точности то же самое, что происходит в жизни при общении: например, когда я звоню вам, я знаю, что телефон делает звуки на вашей стороне зависящими от звуков на моей. Звуки на обеих сторонах связаны, подобно цветам шаров.
Этот пример выбран не случайно: Шеннон, который изобрел теорию информации, работал в телефонной компании и искал способ точного измерения того, сколько может «нести» телефонная линия. Но что передает телефонная линия? Она несет информацию. Она передает способность различать между альтернативами. Именно для этого Шеннон определил понятие информации.
Почему понятие информации оказалось полезным и, возможно, даже ключевым для понимания мира? По одной простой причине: потому что информация измеряет способность одной физической системы коммуницировать с другой физической системой.