Дифференциальная энтропия
Источники информации, множество возможных состояний которых составляют континуум, называют непрерывными.
Во многих случаях они преобразуются в дискретные посредством использования устройств дискретизации и квантования. Вместе с тем существует немало и таких систем, в которых информация передаётся и преобразуется непосредственно в форме непрерывных сигналов. Примерами могут служить системы телеизмерений с частотным разделением сигналов.
Основные информационные характеристики источников непрерывных сообщений следующие: энтропия, условная энтропия, эпсилон – энтропия, эпсилон – производительность, избыточность, объём информации.
Формулу для энтропии источника непрерывных сообщений получают путем предельного перехода из формулы (2.14) для энтропии дискретного источника. С этой целью разобьём диапазон изменения непрерывной случайной величины Х, характеризующейся плотностью распределения вероятностей W(X), на конечное число m малых интервалов шириной Dx (рис. 4.1).
При реализации любого значения х, принадлежащего интервалу [xi, xi+Dx], будем считать, что реализовалось значение xi дискретной случайной величины Х. Поскольку Dx мало, то вероятность реализации значения х из интервала [xi, xi+Dx] равна
Тогда энтропия дискретной случайной величины может быть записана в виде
(4.1)
так как
По мере уменьшения все больше приближается к вероятности P(xi), равной нулю, а свойства дискретной величины – к свойствам непрерывной случайной величины Х.
В результате предельного перехода при получено
(4.2)
Первый член выражения (4.2) зависит только от закона распределения непрерывной случайной величины Х и имеет такую же структуру, как энтропия дискретного источника. Второй член стремится к бесконечности, это полностью соответствует интуитивному представлению о том, что неопределенность выбора из бесконечно большого числа возможных состояний (значений) бесконечно велика.
Рис. 3.1. Зависимость плотности распределения вероятностей
случайной величины
Чтобы избавить теорию от бесконечности, имеется единственная возможность – ввести относительную меру неопределенности исследуемой непрерывной случайной величины Х по отношению к заданной Х0 . В качестве заданной величины Х0 возьмем непрерывную случайную величину, равномерно распределенную на интервале с шириной . Тогда её плотность вероятности , а энтропия
.
Положив для простоты записи e = 1, составим разность
(4.3)
которая показывает, насколько неопределенность непрерывной случайной величины Х с законом распределения W(X) больше или меньше неопределенности случайной величины, распределенной равномерно на интервале e = 1. Поэтому величину
(4.4)
называют относительной дифференциальной энтропией или просто дифференциальной энтропией непрерывного источника информации (непрерывного распределения случайной величины Х). В отличие от энтропии источников дискретных сообщений может принимать положительные, отрицательные и нулевые значения. Величиной можно характеризовать информационные свойства источников непрерывных сообщений.
Аналогично, используя операции квантования и предельного перехода, найдем выражение для условной энтропии непрерывного источника сообщений.
. (4.5)
Обозначим первый член через :
. (4.6)
Эта величина конечна и называется относительной дифференциальной условной энтропией, или просто дифференциальной условной энтропией непрерывного источника. Она характеризует неопределенность выбора непрерывной случайной величины Х при условии, что известны результаты реализации значений другой статистически связанной с ней непрерывной случайной величины Y, и по сравнению со средней неопределенностью выбора случайной величины Х0, изменяющейся в диапазоне, равном единице, и имеющей равномерное распределение вероятностей.
Дата добавления: 2016-02-04; просмотров: 1937;