Странным образом, фундамент теории информации выстроен на заблуждении об аддитивности энтропии.
Между тем, ее неаддитивность прямо следует из существования энтропийного предела.
Рассмотрим, например, сложение двух сообщений с единичной энтропией. Неважно, как именно это будет реализовано. Например, симметричное шифрование можно рассматривать как сложение сообщения с ключом. Результирующая энтропия, разумеется, не может превышать единицу.
Точно так же, как существование предела скорости в СТО требует применения формул гиперболической геометрии в физике, существование энтропийного предела требует применения тех же самых формул в теории информации.
Вложение | Размер |
---|---|
1310.gif | 1.71 КБ |