Информационные характеристики источников непрерывных сообщений

Энтропию источника непрерывных сообщений можно вычислять аналогично энтропии источника дискретных сообщений, если осуществить предельный переход:

где - энтропия отсчета непрерывного сообщения при его преобразовании в цифровую форму;

- число уровней квантования;

- шаг квантования;

- вероятность появления в квантованном сообщении -ого уровня;

- дифференциальная плотность распределения вероятности непрерывной СВ ;

- отсчет непрерывного сообщения в некоторый момент времени .

Рисунок 12.1 – График .

Энтропия непрерывного источника бесконечна, т. к. непрерывное сообщение принимает бесконечное число значений как по времени, так и по уровню.

- дифференциальная энтропия – часть энтропии непрерывного источника, которая зависит от функции . Является относительной мерой неопределенности непрерывного сообщения, т.е. информационный смысл имеет не сама энтропия, а разность двух дифференциальных энтропий.

Свойства :

- величина вещественная, ограниченная, может принимать и отрицательные значения;

- ее значение зависит от выбора единицы измерения СВ:

;

- наибольшую энтропию имен величина с нормальным распределением:

;

- аддитивна, т.е. дифференциальная энтропия нескольких сечений СП равна сумме их дифференциальных энтропий.

Производительность источника:

,

где - частота дискретизации.

Если уровни квантования равновероятны:

.