Пропускная способность дискретного канала с помехами

Рассмотрим теперь вариант, когда помехи в канале вызывают появление ошибок с вероятностью p₀. В этом случае из соотношения 3.1 следует:

C = max {Hx - Hx/y}/ tx = (log₂m - Hx/y) / tx (7)

Рассмотрим наиболее распространенный случай так называемого двоичного симметричного канала. При этом m = 2 (log₂m = 1), а вероятности ошибки “переход "1" в "0” ” “переход "0" в "1" ” одинаковы.

Если теперь рассмотреть в качестве случайного события передачу разряда кода с ошибкой (вероятность p₀), то, используя формулу (9) для определения энтропии, получим:

Hx/y = Hy/x = -p₀ log₂p₀ - (1 - p₀) log₂(1 - p₀) (8)

С учетом этого (9) преобразуется к виду:

C = [1 - p₀log₂p₀ - (1 - p₀)log₂(1 - p₀)]/tx (9)

Таким образом, пропускная способность симметричного двоичного канала с помехами определяется только скоростью передачи разрядов кода (Vx = 1/tx) и вероятностью ошибок.

Клод Шеннон показал, что за счет кодирования пропускную способность канала с помехами также можно использовать максимально полно (напомним, что сама она будет ниже, чем у канала без помех).

Способ кодирования, который позволяет этого добиться, основан на использовании избыточных кодов, когда каждый информационный блок защищается контрольными разрядами и чем больше длина блока, тем меньше удельный вес этих избыточных разрядов, позволяющих обнаружить и исправить ошибки.