Неаддитивность энтропии приводит, иногда, к "парадоксальным" ситуациям.

В термодинамике известен парадокс Гиббса, аналогичный "парадокс" может быть предложен для информационной энтропии.

Пусть M - произвольное сообщение длины L с энтропией H.

Назовем арифметическое объединение сообщений (удвоение длины) последовательным соединением сообщений и логическое объединение (через побитовую операцию) - параллельным соединением сообщений.

Точный вид логической операции неважен, пусть, например, это будет XOR. Пример можно подобрать для любой.

Объединим два разных независимых сообщения M длиной L в одно.

При последовательном соединении сообщений энтропия результирующего соединения будет равна их сумме. При параллельном соединении сообщений энтропия результирующего соединения будет не .больше единицы.

Объединим два идентичных сообщения M длиной L в одно.

При последовательном соединении сообщений энтропия результирующего соединения не изменяется. При параллельном соединении сообщений энтропия результирующего соединения в точности равна нулю.

Аналогично парадоксу Гиббса в термодинамике, в зависимости от того, известна ли нам идентичность (или независимость) сообщений, результирующая энтропия меняется скачком.