Информационные характеристики источников непрерывных сообщений
Энтропию источника непрерывных сообщений можно вычислять аналогично энтропии источника дискретных сообщений, если осуществить предельный переход:
где - энтропия отсчета непрерывного сообщения при его преобразовании в цифровую форму;
- число уровней квантования;
- шаг квантования;
- вероятность появления в квантованном сообщении -ого уровня;
- дифференциальная плотность распределения вероятности непрерывной СВ ;
- отсчет непрерывного сообщения в некоторый момент времени .
Рисунок 12.1 – График .
Энтропия непрерывного источника бесконечна, т. к. непрерывное сообщение принимает бесконечное число значений как по времени, так и по уровню.
- дифференциальная энтропия – часть энтропии непрерывного источника, которая зависит от функции . Является относительной мерой неопределенности непрерывного сообщения, т.е. информационный смысл имеет не сама энтропия, а разность двух дифференциальных энтропий.
Свойства :
- величина вещественная, ограниченная, может принимать и отрицательные значения;
- ее значение зависит от выбора единицы измерения СВ:
;
- наибольшую энтропию имен величина с нормальным распределением:
;
- аддитивна, т.е. дифференциальная энтропия нескольких сечений СП равна сумме их дифференциальных энтропий.
Производительность источника:
,
где - частота дискретизации.
Если уровни квантования равновероятны:
.
Дата добавления: 2016-01-07; просмотров: 1306;