Шеннон был заинтересован в передаче микросостояния системы, например отдельного твита или расположения сидящих на нашем гипотетическом стадионе людей, поэтому он приравнял понятие информации к понятию энтропии, часто используя эти слова как синонимы. Передача сообщения об одном микросостоянии, в котором средним из занятых рядов является центральный, требует больше бит, так как при этом условии существует множество эквивалентных микросостояний, поэтому для передачи данных о некотором микросостоянии требуется создать очень конкретное сообщение. Таким образом, на языке Шеннона понятия информации и энтропии функционально эквивалентны, поскольку количество битов, необходимых для создания сообщения (информация по Шеннону), представляет собой функцию от числа возможных сообщений, которые могут быть переданы (множество состояний, которое мы понимаем как энтропию). Но, это не делает энтропию и информацию одним и тем же. Лауреат Нобелевской премии по химии 1967 года Манфред Эйген заметил: «Энтропия относится к среднему (физическому) состоянию, а информация – к конкретному (физическому) состоянию».[24]
Однако тот факт, что нам требуется больше битов для передачи сообщения о состоянии, в котором каждый человек случайно выбрал место на стадионе или в котором биты на жестком диске были случайным образом перемешаны, не означает, что эти состояния заключают в себе больше порядка или информации. Информация подразумевает увеличение количества битов, но это еще не все. В примере со стадионом множество состояний, при которых люди выбрали места случайно, характеризуется наивысшим значением энтропии, но при этом самым низким значением упорядоченности (хотя некоторые из этих состояний могут быть весьма упорядоченными). В самом деле, в области естественных наук и среди широкой общественности давно существует традиция приравнивания понятия информации к чему-то большему, чем биты, к тому, что подразумевает порядок. Подумайте о генетиках, разговаривающих об информации, содержащейся в ДНК, или об информации, содержащейся в музыкальных партитурах, на катушке пленки или в книге. В данных примерах слово «информация» говорит о присутствии порядка, а не только о количестве битов, необходимых для передачи сообщения о генетической последовательности, книги или нот.
Однако упорядоченные состояния являются редкими и своеобразными. Сначала я объясню, что я имею в виду под словом «редкий» в данном контексте. Далее я объясню своеобразие информационно насыщенных состояний, которое подразумевает корреляции, придающие слову «информация» его широко распространенный разговорный смысл.