Статических каналов передачи дискретных сообщений

Теперь представим себе, что статический канал КПДС не имеет кодера источника, то есть что избыточность источника ДИС не снята. Например, при наборе текста на клавиатуре ПК. Как лучше всего в таком случае закодировать дискретные (знаковые) элементарные сообщения {u_j} источника ДИС соответствующими уровнями цифро-аналогового преобразователя?

Наиболее рационально, как в алгоритмах Шеннона-Фано и Хаффмена, расставить сообщения u_j ( j = 1, 2, …, N ) по убывающим вероятностям P_j, а затем (например при нечётном значении N ): первому сообщению u₁ присвоить значение нулевого уровня U₀ = 0, второму u₂ – первого уровня U₁ = Δu, третьему u₃ – значение уровня U_–1 = – Δu, четвёртому U₂ = 2 Δu и т. д.

Тогда распределение получившихся уровней можно будет ап-

проксимировать подходящим законом распределения с плотностью вероятности p_s(u) (см. рис. 22). При этом P_k ≈ p_s(U_k) Δu.

К. Шеннон доказал (см. [46], с. 297), что при одной и той же дисперсии источники сообщений с гауссовским распределением уровней p_s(u) обладают наибольшей среди всех возможных источников дифференциальной энтропией (см. разд. 11).

Вернёмся к формуле (7.4) или (8.2) для количества информации на выходе канала КПДС. В ней будут фигурировать величины P_{k m} = P(V_m|U_k) переходной матрицы П канала КПДС, то есть вероятность того, что при подаче на вход канала КПДС k-го уровня сигнала U_k на его выходе, после квантования уровней выходных сигналов, появится уровень V_m, соответствующий m-му уровню выходного сигнала. Такие ошибки вызываются воздействием, например, аддитивных, не зависимых от сигнала помех, которые имеют плотность вероятности p_n(x). Поэтому (см. рис. 22)

P_{k m} = P(V_m|U_k) ≈ p_n(V_m – U_k) Δv.

При такой постановке задачи оценки элементов P_{k m} переходной матрицы П мы можем теперь рассматривать воздействие на канал КПДС помех общего

вида (не обязательно гауссовских).

Рис. 22. Распределение уровней сигнала U_k и помех p_п(u)

в статической системе передачи дискретных сообщений ССПИ

Найдём среднее количество информации на выходе такого канала КПДС:

.

Заметим, что по формуле полной вероятности

P'_m = P(V_m) =

где w – вспомогательная переменная интегрирования, как индекс l в формуле для P'_m.

Кроме того, .

Значит,

.

При Δu → 0 и Δv → 0 получаем:

. (13.1)

Поскольку интегрирование ведётся в бесконечных пределах, то

,

где h(n) – дифференциальная энтропия помехи (см. разд. 11).

Значит, второе слагаемое в выражении (13.1) есть:

J₂ = – .

В первом слагаемом J₁ выражения (13.1) поменяем между собой порядок интегрирования по переменным v и u; получим:

J₁ = .

Если функцию переменной v обозначить через p(v), то интеграл J₁ = – формально является некоторой

дифференциальной энтропией, содержащей плотности вероятности p_s(u) и p_n(x), где x = v – u, если функция p(v) является плотностью вероятности некоторой случайной величины v.

Тогда для среднего (на входной знак) количества информации

при Δ u → 0 и N → ∞ получаем асимптотическое выражение:

≈ h(s + n) – h(n), (13.2)

где h(s + n) = – , а p(v) = .

Покажем, что функция p(v) является плотностью вероятности суммы случайных величин уровней сигнала u на входе канала КПДС и шума n в этом канале.

Действительно. Сделаем замену переменных: u = x, v = x + y. Якобиан

(коэффициент изменения элементарной площади на плоскости {x, y}) такого-

преобразования равен: .

Поэтому p_αβ(u, v) = p_αβ(x, y).

Чтобы получить плотность вероятности величины v = x + y, нужно проинтегрировать плотность вероятности p_αβ(u, v) по переменной u = x. Но y = v – x =

= v – u; поэтому, возвращаясь к исходной системе координат {x, y}, получим:

p(v) =

Если случайные величины α и β – независимы, то p_αβ(u, v) = p_α(u) p_β(v).

Поэтому p(v) = , что и требовалось доказать.

Отсюда следует, что

среднее количество информации (бит/знак), которое получается на выходе канала КПДС, имеющего аддитивные помехи (не зависимые от уровней сигналов), и которое приходится на один знак источника не-равновероятных дискретных сообщений ДИС U = {uj} (при N >> 1 и Δu << σs), асимптотически равно разности дифференциальных энтропий суммы уровней сигналов и помехи на выходе канала КПДС и аддитивной помехи в канале КПДС. Дифференциальная энтропия гауссовской помехи h(n) = .

Пусть аппроксимация p_s(u) имеет также гауссовскую форму, то есть пусть

p_s(u) = exp .

Поскольку v = u + x, то при независимости уровней сигналов и помех величина D(v) = D_s + D_n. Отсюда дифференциальная энтропия уровней на выходе

канала КПДС h(v) = .

Значит, ≈ h(s + n) – h(n) = – ,

или ≈ log [(P + N )/N ] = log (1 + P/N ) = log (1 + Q),

или ≈ log (1 + Q) = , (13.3)

где P ≡ D_s – «мощность сигнала», N ≡ D_n – «мощность аддитивной помехи»,

Q = D_s /D_n = P/N – «отношение сигнал/помеха».

Как видим, величина в этом случае не зависит от величиныкванта Δu, поскольку в полученных асимптотических формулах Δu → du → 0. То есть она является собственной характеристикой канала КПДС, равной максимальному среднему количеству информации на один уровень напряжения (или тока) в канале КПДС, которое возможно при заданном отношении средней мощности сигнала к средней мощности помех Q = D_s /D_n, то есть равной информационной ёмкости «непрерывного гауссовского канала» КПДС:

ℰ_Ш(Q) = = [log (1 + Q)]/2 = .

На рис. 23 кривая 1 показывает зависимость ℰ_Ш(Q) графически.

Впервые формулу (13.3) обосновал в 1948 г. К. Шеннон ([46], с. 243-332 – см. Прил. 4). Формулу (13.3) назовём центральной формулой Шеннона информационной статики.

Эта формула, как и формула для информационной ёмкости телеграфной системы без избыточности: ℰ(Q) ≈ , – справедлива при бесконечно малой величине кванта ( расстоянию между уровнями): при Δu → 0.

Для того чтобы использовать формулу Шеннона (13.3) на практике, нужно определить эквивалентное количество уровней N_{Ш э}(Q) и получающуюся при этом практическую информационную ёмкость ℰ_{Ш э}(Q) шенноновской статичес-кой системы передачи дискретной информации.

Будем исходить из того, что для симметричного бинарного канала передачи сообщений два симметричных уровня (–U_Т) и (+U_Т) можно аппроксимировать какой угодно (симметричной относительно нуля u = 0) плотность вероят-

C N _э

бит

знак

4 C_Ш(Q)

 

3 30 1 C_Шэ(Q)

 

 

2 20 2 N_Шэ(Q)

 

 

1 10 4 3

 

 

0

Q

Рис. 23. Характеристики шенноновской системы

передачи дискретных сообщений

ости p_s(u). Отличие шенноновской системы (обе плотности вероятности: p_s(u) и p_n(u) – гауссовские) от рассмотренного выше «многоуровневого телеграфа» скажется при ≥ 3, то есть при Q ≥ 8.

В промежутке (1/2 < Q < 2) характеристики шенноновской системы с конечным количеством уровней должны совпадать с аналогичными характеристиками «многоуровневого телеграфа» с источником ДИС без избыточности, то есть эквивалентное количество уровней определяется приближённой формулой

, а эквивалентная ёмкость шенноновской системы ℰ_{Ш э}(Q) получа-ется путём «припассовки» (подгонки) кривой ℰ(Q) ≈ , в промежутке (1/2 < Q < 2) к зависимости от величины Q симметричного бинарного канала КПДС ℰ = 1 + p log p + (1 – p) log (1 – p) – см. формулы (10.1), (9.3) и рис. 11.

На рис. 23 показаны также зависимость от величины Q значения эквивалентного источнику ДИС без избыточности количества уровней , а на рис. 21 – для сравнения с «многоуровневым телеграфом»

– информационная надёжность χ_Ш(Q) шенноновской системы передачи дискре-

тных сообщений (пунктир).

Из рис. 20, 21 и 23 следует:

а) при снятой избыточности источника ДИС и аддитивных гауссовских помехах в канале КПДС оптимальная величина кванта составляет Δu₀ = 2 W = = 2 σ_n 3,47 σ_n, а величина практической информационной ёмкости канала КПДС ℰ(Q) как функция величины отношения сигнал/помеха Q имеет вид (кривая 1 на рис. 20)ℰ(Q) = при количестве уровней многоуровневой телеграфии (кривая 2 на рис. 20) N₀ = ;

б ) если избыточность источника ДИС не снята, то при N >> 1 можно так закодировать дискретные сообщения соответствующими уровнями преобразователя ЦАП, что при Q > 8 справедливой оказывается оценка, вычисляемая с помощью формулы Шеннона для статического канала КПДС (кривая 3 на рис. 20, совпадающая с кривой 1 на рис. 23) ℰ_Ш(Q) = ;

в) при Q < 3 асимптотическая оценка величины ℰ_Ш(Q) по статической формуле Шеннона не справедлива, эквивалентное количество уровней становится менее двух (кривая 3 на рис. 23).

Если же мы хотим передавать цифробуквенную информацию уровнями напряжения U (или тока I ) при наличии в канале КПДС гауссовских помех и при ограничении среднеквадратического уровня напряжения (или тока) в статическом канале КПДС, то мы должны поступить следующим образом.

1. Путём соответствующего кодирования знаков алфавита U = {u_j} символами W = {w_k} (K < N ) снять избыточность источника ДИС.

2. В соответствии с коэффициентом информационной надёжности χ(Q)

статического канала КПДС провести достаточно надёжное помехоустойчивое кодирование сообщений и объединить сообщения в отдельные блоки.

3. Перекодировать информационные блоки так, чтобы получить квазигауссовское распределение их вероятностей.

4. Расположить получившиеся сообщения S = {S_m} (M >> 1) по убывающим значениям их априорных вероятностей {P_m} .

5. Определить энтропию (удельную информативность) источника ДИС .

6. Составить уравнение для дисперсии уровней канала КПДС:

.

7. Решить уравнение log (1 + D_s /D_n) = 2 H(S) и тем самым определить оптимальную величину кванта Δu₀:

Δu₀ ≈ .

8. Каждому поступающему сообщению S_m из множества S = приписывать значение уровня U_m = m Δu₀.

Таким образом, мы рассмотрели основные проблемы информационной статики. На основании решения этих проблем (в «статическом режиме работы» систем электросвязи) перейдём к рассмотрению «динамических режимов работы» реальных систем электросвязи, то есть функционирование таких систем в режиме реального времени.

Вопросы для самопроверки

1. Каким образом приближённо вычисляется количество информации на выходе канала электросвязи при произвольном распределении сигналов и произвольных аддитивных помехах в канале электросвязи?

2. Каким образом выводится центральная формула Шеннона информационной статики?

3. Для каких каналов электросвязи и в каких пределах изменения величины отношения сигнал/шум справедлива центральная формула Шеннона информационной статики?