Совместная, условная и остаточная энтропии каналов электросвязи

В разд. 7 мы подробно обсудили общетеоретическую проблему оценивания количества информации, получаемой на выходе канала статической системы передачи информации (ССПИ) относительно поступающей на её вход информации от источника ДИС, при наличии в канале КПДС непреднамеренных и (или) организованных помех. Мы ввели в рассмотрение пятый постулат

Симметричная форма записи (Шеннон, 1948 г.: [46], разд. 6; Вудворд, 1953 г.: [12], гл. II).

Запишем выражение (8.1) в виде: I_{k j} = log [P(w_k | u_j) /P(w_k)].

Умножим числитель и знаменатель дроби в этом выражении на P_j = P (u_j):

I_{k j} = log {P(u_j) ·P(w_k | u_j) /[P(u_j) ·P(w_k)]} = log {P_j ·P_{j k} /(P_j ·P'_k)}.

Но P(u_j)P(w_k|u_j) = P_j ·P_{j k} = P(u_j, w_k). Значит, I_{k j} = log {P(u_j, w_k) /[P(u_j)P(w_k)]},

а , (8.3)

или (U, П) = –

– – .

Так как знак u_j U в какой-нибудь из символов w_k W переходит, а при приёме символа w_k W какой-нибудь из знаков u_j U был передан, то

= = 1.

Отсюда получаем:

(U, П) = H(U) + H(W) – H(U, W), (8.4)

где H(U) – энтропия источника ДИС, интерпретируемая как его удельная информативность (U);

H(W) – формальная энтропия совокупности символов {w_k} на выходе канала КПДС: H(W) = ;

H(U, W) – совместная энтропия совокупности символов {u_j} и {w_k} на входе и выходе канала КПДС: H(U, W) = .

Запись (8.3) имеет симметричный относительно знака u_j и символа w_k вид. На этом основании нельзя делать вывод о том, что

Ведь субъект-ДИС может ничего не знать о том, что произошло в канале КПДС с посланным им элементарным сообщением (знаком) u_j! Например – при радиовещании.

Поэтому этот формально-теоретический вывод имеет такую же силу, как вывод о «возможности обратить время вспять», делаемый на основании симметрии относительно параметра «время» соответствующих уравнений классической механики. Тем не менее, симметричная форма (8.3) имеет большое практическое значение.

Пусть источник ДИС неразрывно связан с каналомКПДС. Тогда, набрав экспериментально достаточно большую выборку из пар {(u_i1, w_i1), (u_i2, w_i2), …, (u_in, w_in)} и оценив статистически вероятности P(u_j, w_k), можно определить величины P(u_j) = , P(w_k) = , вычислить все значения I_{k j} ( j, k = 1, 2, …, N ) и построить оптимальный (байесовский) алгоритм присвоения символам w_k значений элементарных сообщений (знаков) u_j для данной, не разделяемой на источник ДИС и канал КПДС, статической системы передачи семиотической информации.

Негэнтропийная форма записи (К. Шеннон, 1948 г.: [46], разд. 12).

Поскольку P(u_j, w_k) = P(u_j) P(w_k|u_j) = P(w_k) P(u_j|w_k), то P(w_k|u_j) /P(w_k) = = P(u_j|w_k) /P(u_j).

Поэтому в выражении I_{k j} = log (P_{j k} /P'_k) можно заменить дробь P_jk /P'_k на дробь P(u_j|w_k) /P(u_j) и получить:

I_{k j} = log [P(u_j|w_k) /P(u_j)] = – log P_j – [– log P(u_j|w_k)]. (8.5)

Усреднив выражение (8.5) для I_{k j} по ансамблям U и W, получим:

(U, П) = H(U) – log [1/P(u_j|w_k)],

или H(U, W) = H(U) – H(U|W), (8.6)

где H(U|W) = – log P(u_j|w_k). Величину H(U|W) К. Шеннон, по аналогии с остаточной дисперсией в регрессионном анализе математической статистики, назвал «остаточной неопределённостью» (equivocation), то есть энтропией на выходе каналаКПДС. (В [46], с. 277, термин “equivocation” не совсем точно переведён как «ненадёжность».)

Математический смысл величины H(U|W) – условная энтропия (неопределённость) знаков u_j из ансамбля U при условии, что на выходе канала КПДС приняты всевозможные символы w_k из ансамбля W.

Если в формулу (8.6) подставить легко оцениваемые эмпирически или определяемые теоретически величины {P_j} и {P_jk} , то получаетсяисходное (постулируемое) выражение (7.4) для (U, П).

Выражение (8.6) многие авторы, следуя К. Шеннону, интерпретируют следующим образом. Если в канале КПДСотсутствуют помехи и матрица соответствия П – диагонализируемая [коэффициент надёжности χ(П) = 1], то потери информации в канале КПДС не происходит, и до приёма субъектом-ПИ некоторого элементарного сообщения (знака) u_j неопределённость получения им одного из знаков u_j U в среднем равна H(U). После приёманекоторого знака u_j U субъект-ПИ получил количество синтактической информации, равное I_j = – log P_j, а неопределённость ситуации оказалась «снятой». Если же в канале КПДС имеются помехи (0 ≤ χ(П) < 1), то при получении символа w_k остаётся неопределённость (equivocation, буквально – уклончивость от прямого ответа) относительно того, какой из знаков u_j U был передан источником ДИС на самом деле. Поэтому среднее количество информации, получаемое на выходе канала КПДС на один знак источника ДИС, равно: (U, П) = H(U) – H(U|W), – а величину H(U|W), по аналогии с условной вероятностью P(u_j|w_k), называют условной энтропией входа канала КПДС. Это – энтропия (остаточная неопределённость) источника ДИС U при условии получения на выходе канала КПДС всевозможных символов w_k W. При этом остаточную неопределённость H(U|W) ещё нужно реализовать – разработкой соответствующего (байесовского) алгоритма присвоения символам {w_k} значений знаков {u_j} согласно принципу максимума апостериорной вероятности P(u_j|w_k)! Тем не менее, говорят, что (вообще):

Такая интерпретация аналогична законам сохранения в теоретической физике и не требует тщательного анализа структуры конкретнойинформационной эрготехнической системы и её функционирования– и разработки соответствующих оптимальных алгоритмов её работы. К сожалению, негэнтропийная интерпретация формулы (8.6) породила многочисленные спекуляции на тему «информация и энтропия», несмотря на то, что К. Шеннон предупреждал об опасности такого «обобщения» в заметке «Бандвагон» (см. Введение), а его коллега Дж. Пирс отмечал бессодержательность этой темы (см. разд. 4).

Эти недоразумения порождены интерпретацией сущности обмена сообщениями субъектов информационного взаимодействия как выбора из множества априори известных сообщений некоторого произвольного сообщения и передача этого сообщения по каналу КПДС при наличии в нём различного рода помех (см. Прил.1).

Пятый постулат (8.1) и его следствие (8.2), видимо, – самое выдающееся достижение Клода Шеннонав математической теории информации.

Вопросы для самопроверки

1. Что такое удельная информативность статической системы передачи информации?

2. Что такое естественная форма записи удельной информативности системы передачи информации и почему она так называется?

3. В чём состоит практическое значение естественной формы записи удельной информативности системы передачи информации?

4. Что такое симметричная форма записи удельной информативности системы передачи информации и в чём состоит её математический смысл?

5. Что называется совместной и условной энтропией статической системы передачи информации?

6. Каково практическое значение симметричной формы записи удельной информативности системы передачи информации?

7. Что такое негэнтропийная форма записи удельной информативности системы передачи информации и в чём состоит её математический смысл?

8. Что называется остаточной энтропией статической системы передачи информации и в чём состоит её математический смысл?

9. Каково практическое значение негэнтропийной формы записи удельной информативности системы передачи информации?