Поток информации источника сообщений

При работе источника сообщений на его выходе отдельные символы появляются через некоторые интервалы времени; в этом смысле мы можем говорить о длительности отдельных символов, и, следовательно, может быть поставлен вопрос о количестве информации, вырабатываемой источником в единицу времени.

Длительность выдачи знаков источником в каждом состоянии в общем случае может быть различной. Тогда средняя длительность выдачи источником одного знака:

(3.15)

где P(S_k) – вероятность того, что источник сообщений находится в состоянии S_k; P(x_i) – вероятность появления символа x_i в состоянии S_k; t_xi – длительность выдачи знака x_i источником в состоянии S_k.

Энтропия источника, приходящаяся на единицу времени, может быть названа скоростью создания сообщений, или потоком информации, т.е.

(3.16)

Если длительность выдачи знака не зависит от состояния источника, для всех знаков одинакова и равна то Выражение для принимает вид:

(3.17)

В этом случае поток информации максимальный, если энтропия источника на символ максимальна. Для увеличения потока информации необходимо по возможности уменьшить среднюю длительность символов . С этой целью, например, необходимо, чтобы длительность тех символов, вероятность появления которых больше, была меньше, чем для символов, вероятность появления которых относительно велика. Таким образом, для получения большого потока информации на выходе источника необходимо не только обеспечить по возможности большую энтропию на символ, но и правильно выбрать длительность разных символов.

Контрольные вопросы

1. Дайте определение эргодическому источнику.

2. Запишите выражение для энтропии эргодического источника, когда коррелятивные связи имеются между двумя и тремя символами.

3. Приведите диаграмму переходов, когда источник имеет четыре характерных состояния.

4. Перечислите свойства энтропии эргодических источников.

5. Что характеризует избыточность источника сообщений?

6. Что понимается под потоком информации источника сообщений?