Всякое изменение тела, будь то болезнь или здоровье, сводится к перемещению веществ в пространстве… но демоны не могут произвести этого движения, так как это доступно только богу. Отсюда ясно, что демоны не могут произвести никакого, по крайней мере фактического телесного изменения, и что в силу этого, подобные превращения должны быть приписаны какой-либо тайной причине.

© Крамер, Генрих и Шпренгер, Якоб "Молот ведьм", 1486

Со времени пионерных публикаций Норберта Винера и Клода Шеннона по Теории Информации прошло почти семьдесят лет. Неопределенность основных понятий не может не вызывать беспокойства. Упущения, возможно, казавшиеся неважными по условиям военного времени, ныне выглядят недопустимым "белым пятном" на карте достаточно развитой в других отношениях дисциплины.

Различными авторами было предпринято немало попыток дать толкование понятию "Информация", но уже сама их многочисленность и часто - противоречивость, свидетельствует о все еще продолжающемся неблагополучии в этой области.

Краткий очерк нескольких смутных мест Теории Информации

1. Неопределенность предмета

Что есть информация? Этот вопрос просто игнорируется. Есть ли еще другая теория со столь же неочерченной областью исследования?

Не существует не только общепринятого, но даже просто внятного объяснения понятия "Информация". С ходу, можно насчитать около полудюжины различных определений, тогда как авторы некоторых тематических обзоров насчитывают их несколько десятков.

Одни, например, утверждают, что информация - это неотъемлемое свойство материи, тогда как другие объявляют материальной саму информацию (и даже приписывают ей свойства плоской волны и квадратичный закон убывания). Третьи признают информацию свойством только живой природы, четвертые рассматривают ее лишь в процессе достижения цели (по сути, "заметая мусор под коврик"), пятые заняты поиском поправочных коэффициентов в формулах, шестые отождествляют информацию и термодинамическую энтропию и.т.д.

Одно уже обилие противоречивых определений свидетельствует, что ни одно из них не является достаточно обоснованным.

2. Вводящая в заблуждение терминология

Точно так же, как не существует "сжатия" данных, не существует и "обмена" информацией.

Все известные процессы обмена являются процессами обмена веществом и / или энергией. Для них существуют законы сохранения. Иными словами, это процессы перемещения чего-либо.

Информация, очевидно, неперемещаема. Она клонируется. С оригинала может быть сделано неограниченное число копий. Законы сохранения не действуют. Одно это ставит крест на всех попытках "материализации" информации.

Более того, все чем можно "обменяться", не является информацией "по определению", так как не обладает свойством "бесконечной воспроизводимости".

Кроме того, информации неправомерно приписываются характеристики обобщенного заряда (заряд - это объект, который может быть перемещен из одной точки в другую), тогда как по своим свойствам она может быть только обобщенным потенциалом (потенциал - это разность, измеряемая между двумя точками).

Наконец, в отличие от реальных процессов обмена, "обмен" информацией не может быть самопроизвольным и, обязательно, требует работы третьих сил.

И еще одно замечание.

Все известные процессы обмена происходят по принципу "от большего - к меньшему".

К информации это, по-видимому, не относится: дезинформация распространяется столь же легко и непринужденно, как и достоверные сведения.

3. Скрытое использование разделяемой модели

Понятие Информации вводится весьма странным образом - через устраненную неопределенность.

Приемник обязан быть осведомлен о характеристиках источника. Никакая коммуникация невозможна без использования общей для участников (разделяемой) модели. Такой, например, как использование единого языка и / или ключа шифрования при переписке.

Между тем, степень близости, то есть взаимная осведомленность сторон (общее алго шифрования, например) вообще не учитывается в подсчетах количества информации.

Понятие "количество информации", очевидно, имеет смысл только в данном классе процессов коммуникации с заданными участниками и разделяемой ими моделью (включающей задание алфавита), но это обстоятельство никак не учитывается и не оговаривается.

Более точно, предложенное Шенноном определение количества информации имеет физический смысл ошибки предсказания ("снятая неопределенность") в следящих системах с отрицательной обратной связью. Это замечательно для систем управления зенитным огнем, например (которыми занимался Норберт Винер), но совершенно не исчерпывает всех возможных моделей поведения.

Используя электрическую аналогию, можно сказать, что понятие "количество информации" описывает поведение дифференцирующей цепи и, разумеется, непригодно для всех других классов схем.

4. Неразличимость Информации и Шума

Эта неразличимость вынужденно оговаривается и Харли и Шенноном и вытекает из существования разделяемой модели, которая задает семантику сообщения. В отсутствие общей с источником модели, приемник совершенно бесполезен, так как не способен отличить информацию от шума или дезинформации. Это никак не влияет на технический расчет потребного количества тары для транспортировки, но доказывает очевидную бессмысленность термина "количество информации".

5. Существование коммуникации

Эта проблема вытекает из предыдущей и прямо связана с (не)использованием разделяемой модели.

В Теории Информации существование коммуникации, фактически, подменено возможностью передачи сигнала. Однако, потенциальная возможность коммуникации, очевидно, не равнозначна ее действительному осуществлению.

Рассмотрим три экстремальных случая:

Наихудший: Два взаимодействующих субъекта абсолютно различны.

Языковый барьер, культурный барьер... какой угодно барьер. Разделяемой модели не существует. Абсолютная логическая изоляция. Коммуникация невозможна.

"Потому говорю им притчами, что они видя не видят, и слыша не слышат, и не разумеют".

Матфея 13:13

Наилучший: Два взаимодействующих субъекта идентичны.

Если их состояния также идентичны, то просто не существует информации, которой они могли бы обменяться - также, как невозможен теплообмен, например, между двумя телами равной температуры. Они находятся "в информационном равновесии".

Извращенный: Дезинформация.

Разделяемая модель на самом деле не является таковой: субъекты используют различные модели, но сообщения, которыми они обмениваются, к несчастью, являются корректными в каждой из них.

Один из излюбленных сюжетов классической литературы: "Обманутый муж всегда узнает последним". Сюда же вписывается любая другая схема (само)обмана от прямого мошенничества до добросовестного заблуждения.

Вся классическая цепочка Теории Информации - от источника до приемника - функционирует ОК, но результат фатален для жертвы.

Из сказанного следует, что "сообщения" (на которых сосредоточено все внимание Теории Информации), на самом деле, незначительная часть полного процесса коммуникации. Более того, любая кибернетическая система с достаточным усилением в контуре отрицательной обратной связи (следящая система) находится в режиме виртуального отсутствия сигнала, виртуального отсутствия сообщений, виртуального отсутствия информации.

6. Асимметрия процесса коммуникации

Общепринято (исключая разве что квантовую механику) пренебрегать обратным влиянием одной из взаимодействующих сторон. Информационная среда полагается анизотропной, система координат - выделенной, а информация - распространяющейся исключительно от источника к приемнику. Введение петли обратной связи в кибернетике все еще не решает проблемы, закрепляя ведущую роль регулятора по отношению к управляемому объекту.

Вводимая таким образом асимметрия неестественна, не имеет под собой физических оснований, затемняет предмет исследования и искусственно отделяет методы Теории Информации от развитого аппарата других технических дисциплин. Общая теория не должна базироваться на частных случаях.

7. Неполнота описания процесса

Опираясь на указанный Хартли инвариант количества информации для аналоговых сигналов, следовало бы ожидать аналогичного описания для дискретных. Однако, понятие алфавита игнорирует битовую ширину символов. Энтропия вычисляется исключительно для равномерного кода.

8. Неаддитивность энтропии

Кажется неожиданным, что характеристика, аддитивность которой постулирована, может быть неаддитивна. Однако, энтропия была введена как мера в специфическом процессе смешивания, при котором число состояний системы росло как степень ее размера (конкатенация сообщений, экспансия). Обратным будет процесс компрессии, в котором при смешивании двух сообщений результирующий размер и число состояний уменьшаются (все варианты симметричного шифрования с ключом). Тем самым, при смешивании двух сообщений можно добиться произвольного значения результирующей энтропии во всем диапазоне 0..1, а при суммировании двух независимых сообщений с единичной энтропией невозможно получить суммарное значение больше 1 (энтропийный предел).

Имея физический смысл плотности (концентрации), энтропия, очевидно, не может служить мерой ни в каком "каскадном" процессе (сжатие уже сжатого файла, шифрование уже зашифрованного). Иными словами, имея, например, две концентрации по 0.75, никаким процессом нельзя достичь концентрации 1.5, а только 1 ("концентрационный" предел).

Таким образом, для данной модели смешивания должна быть введена релятивистская поправка, аналогично тому, как это сделано для сложения скоростей в СТО (лоренц-сжатие).

9. Непригодность энтропии в качестве характеристики Информации

В понятии энтропии не используется алфавитная упорядоченность. Иными словами, искажено понятие близости. Точки, различно расположенные в фазовом пространстве, оказываются одинаково близкими по энтропийной метрике.

Введенная Ральфом Хартли метрика (1928), явно описывает передачу сообщения как последовательность элементарных равновозможных выборов из заданного конечного набора (алфавита). Общепринято, что метрика Клода Шеннона (1948) является обобщением метрики Хартли на случай разновероятных выборов. Таким образом, сообщение можно трактовать либо как уточняющую последовательность выборов в полном пространстве состояний (оригинальный подход Хартли), либо (равноценно) как последовательное изменение состояния источника (подход, обычно используемый в технике связи). В любом случае, пространство состояний, очевидно, анизотропно. В первой модели из-за анизотропии самого дерева выборов, во второй - из-за причинно-следственных связей.

Энтропия, однако, нечувствительна к пермутациям символов сообщения. Анаграммы, такие как "МАРС - СРАМ", или "АВСТРАЛОПИТЕК - ВАТЕРПОЛИСТКА" содержат одинаковое количество информации по Шеннону, что, очевидно, не согласуется с анизотропией самого сообщения.

Более того, признание анизотропии сообщения означает, что никакая изотропная характеристика не может быть его корректной оценкой.

10. Фиктивная однородность сообщений

Теория информации рассматривает сообщения, как моноалфавитные. Абстракция сообщения не учитывает смеси различных алфавитов ("эмульсии"). На первый взгляд, это чисто техническое затруднение. На самом деле, отказ от учета семантики принципиально не позволяет получить несмещенную оценку смешанных (мультимедийных) текстов. Например, запись шахматной партии - это многоалфавитный текст (эмульсия). Варианты ходов различны для каждой из фигур.

11. Одномерность

Кажется, нет другой дисциплины, кроме, может быть, арифметики, которая так строго ограничивала бы себя одномерным случаем. Несомненно, мы чувствуем, что игра идет на информационном поле - информация оценивается и сравнивается, складывается и вычитается, модулируется и интерферирует, имеет ощутимый градиент, свои "сверхновые" и свои "черные дыры". Теория информации предпочитает не замечать всего этого, ограничиваясь едва ли не телеграфной связью по длинным линиям с существенно одним измерением и, подобно Митрофанушке, упорно повторяет "арифметические зады". Понятий "разветвленная информационная цепь" или "информационный волновой процесс" для нее просто не существует.

12. Квантовый характер энтропии

Рассматривая энтропию в ее изначальном по Хартли смысле - как высоту дерева выбора, нельзя не видеть, что она может принимать только дискретные значения, независимо от расчетных значений логарифмов. Неважно, насколько сбалансировано дерево, его высота всегда натуральное число. Таким образом, единичное изменение высоты дерева выбора при перестройке структуры системы следует трактовать как переход на соседнюю орбиту с поглощением (или излучением) одного кванта.