Энтропия сложных сообщений

Рассмотрим энтропию объединенной системы.

Под объединением двух систем с возможными состояниями
х₁, х₂, …, х_n, y₁, y₂, …, y_n понимается сложная система (X, Y), состояние которой (x_i, y_i) представляет собой все возможные комбинации состояний
x_i, y_i систем X и Y. Очевидно, число возможных состояний системы (X, Y) равно m×n.

Обозначим через P(y_y/x_i) условную вероятность того, что система
Y принимает состояние y_j при условии, что система Х находится в состоянии x_i.

Определим теперь энтропию системы Y при условии, что система Х находится в состоянии x_i (частная условная энтропия).

Н(Y/x_i) = M_Y[-logP(y_j/x_i)] = .

Средняя по множеству всех возможных состояний системы Х условная энтропия (полная условная энтропия)

Н(Y/Х) = M_Х[Н(Y/x_i)] = (2.5)

Условная энтропия H(Y/X) характеризует степень неопределенности системы Y при условии, что состояние системы Х полностью определено.

Нетрудно убедиться, что

H(Y/X) = H(Y) (2.6)

при вероятностной независимости систем Х и Y, а также

Н(Y/X) = 0 (2.7)

при однозначной (функциональной связи) между системами.

Из (2.6) и (2.7) очевидно, что условная энтропия достигает максимума при вероятностной независимости систем. Это утверждение можно строго доказать методами вариационного исчисления, но и так представляется достаточно очевидным, что неопределенность одной системы не может увеличиться от того, что неопределенность какой-то другой системы уменьшилась.

Докажем следующую теорему.

Если две системы Х и Y объединяются в одну, то энтропия объединенной системы равна энтропии одной из составных частей плюс условная энтропия второй части относительно первой.

Н(X,Y) = M[-logP(X,Y)] = M[-log(P(X)×P(Y/X))] =

= M[-logP(X)] + M[-logP(Y/X)] = H(X) + H(Y/X). (2.8)

В частном случае, когда системы Х и Y независимы

H(Y/X) = H(Y) и H(X,Y) = H(X) + H(Y).

Так как H(Y/X) ≤ H(Y), то H(X,Y) ≤ H(X) + H(Y), т.е. энтропия сложной системы достигает максимума в случае, когда ее составные части независимы.

Теорему об энтропии сложной системы легко распространить на любое число объединяемых систем.

Исходя из изложенного, можно объяснить, почему количественное представление информации через энтропию оказалось столь широко применимым. Такое представление обладает следующими достоинствами:

1. Удовлетворяет требованию, предъявляемому к любой мере – аддитивности, по которому общая от нескольких источников информация находится суммированием.

2. Хорошо отражает смысл понятия "информация" - среднее количество информации о системе, которое может быть получено, т.е. энтропия достигает максимума в случае, когда априорные данные о системе отсутствуют (все состояния системы равновероятны) и равно 0, если неопределенность системы отсутствует.

Довольно распространенным является случай, когда интересующая нас система событий (случайная величина) изучается не непосредственно, а путем изучения другой системы, связанной с первой вероятностно. Оценим взаимную информацию систем.

Пусть нас интересует система Х. Возможные ее состояния определяются априорными вероятностями Р(х₁), Р(х₂), …, Р(х_n). Пусть также имеется система Y, вероятностно связанная с системой Х (известны условные вероятности P(x_i/y_k). При получении сообщения, что система Y находится в k-м состоянии, изменилось распределение вероятности системы Х, т.е. мы получили определенную информацию о системе Х. Приращение информации об i-том состоянии системы Х

.

Эта информация называется информацией "от события к событию".

В среднем по всем возможным состояниям системы Х приращение информации

.

Эта величина называется средней частной информацией.

Средняя по всем возможным состояниям системы Y информация о системе Х

(2.9)

Симметричность записи выражения (2.9) относительно Х и Y означает, что

I_Y→X = I_X→Y = Y_X↔Y = I(X,Y) = H(X) – H(X/Y) = H(Y) – H(Y/X). (2.10)

Среднее количество информации, получаемое при неполной достоверности сообщений равно разности безусловной априорной информации Н(Х) и условной априорной информации H(X/Y), H(X/Y) трактуется как потеря информации (ненадежность связи).

Из выражения (2.8) следует:

H(X/Y) = H(X,Y) - H(Y)

и подстановка в уравнение (2.10) даст

Y_X↔Y = H(X) – H(X,Y) + H(Y) = H(X) + H(Y) – H(X,Y),

где Н(Х,Y) – потеря информации.

Подытожим свойства взаимной информации.

1. I(X,Y) ≥ 0,; I(X,Y) = 0, когда Х и Y – независимы.

2. I(X,Y) = I(Y,Х).

3. I(X,Y) ≤ Н(Х); I(X,Y) = Н(Х), когда Н(Х/Y) = 0 при однозначной связи.

4. I(X,Х) = Н(Х) – собственная информация о себе.

Литература:

[1] стр. 132-134. [2] стр. 227-230. [3] стр. 106-109.

Контрольные вопросы:

1. Чему равна энтропия объединения при независимости входящих в нее систем?

2. Чему равна энтропия объединения при функциональной зависимости входящих в нее систем?

3. Чему равна взаимная информация между независимыми системами?

4. Может ли быть взаимная информация между двумя системами больше, чем наименьшая из энтропий этих систем?

5. Как оценивается потеря информации при передаче ее от одной системы к другой?