Определение информации как меры изменения неопределенности.

Следует отметить, однако, что рассмотренные способы измерения информации еще не дают возможности судить о действительном количестве информации в сообщении. Одну и ту же реальную информацию можно оформить в виде краткого содержательного отчета или же в многотомном красиво оформленном виде. Таким образом, число страниц в документе, число байтов, битов, показателей не отражает объем реальной информации, содержащейся в сообщении. Широкое распространение получила мера количества информации, связанная с мерой неопределенности некоторой ситуации. В рамках этого подхода количество информации определяется как числовая характеристика сообщения, отражающая ту степень неопределенности (неполноту знаний), которая исчезает после получения сообщения.

Рассмотрим пример бросания монеты. До получения информации о результате имеется два равновозможных варианта (орел, решка). После получения информации об исходе броска неопределённость исчезает. Количество информации, получаемое в подобном случае, называется битом.

Количественно выраженная неопределенность в теории информации получила название энтропии. При энтропии, равной нулю, имеется полная информация о системе. Количество информации может быть определено как разность значений энтропии до и после получения информации.

В простом варианте, пусть имеется N возможных вариантов, А_{i ,} состояния рассматриваемой системы. Обозначим через P(А _i ) вероятность того (в рамках имеющейся у нас информации о системе до получения сообщения ), что система находится в состоянии А_i . Энтропия H (мера степени неосведомленности о состоянии системы) полагается равной:

H = - P(А₁ )*log₂(Р(А₁)) - P(А₂ )*log₂(Р(А₂)) … - P(А_N )*log₂(Р(А_N)).

Можно показать, что выбор основания, 2, логарифма определяет единицу измерения - бит. Значения логарифмов в данных выражениях £ 0, так как вероятность любого события не превосходит единицу. Следовательно, значение Н всегда неотрицательно. Обозначим через Н₀ значение до получения информации и через Н₁.- после.

Количество полученной информации дается выражением:

I = Н₀ - Н₁

Примеры.

(1) Пусть система имеет два равновозможных состояния (например, монета), причем у нас нет никаких сведений о состоянии системы. Тогда n=2 и P(А_i )=1/2.

Н₀ = -1/2*log₂(1/2) - 1/2*log₂(1/2)= - log₂(1/2) = log₂(2)=1

Теперь пусть была получена информация о том, что при броске монеты выпал “орел”. Тогда P(А₁) = 1 и P(А₂)=0. Следует отметить, что при стремлении вероятности Р к нулю произведение log(P)*P стремится к нулю. Поэтому полагаем: 0*log₂(0) =0.

Следовательно: Н₁= -1*log₂(1) - 0*log₂(0) = 0 – 0 =0

Тогда для количества полученной информации:

I = Н₀ - Н₁ = 1- 0 = 1 бит

(2) Рассмотрим состояние игрального кубика (N = 6). Обозначим через А_i событие, заключающееся в выпадении при броске кубика числа i. Пусть произведено испытание (бросок кубика), причем у нас нет никаких сведений о его результате, т.е. о состоянии системы (кубика) после испытания ( P(А_i )=1/6. Тогда:

Н₀ = -1/6*log₂(1/6) - 1/6*log₂(1/6)-1/6*log₂(1/6)-1/6*log₂(1/6) - 1/6*log₂(1/6) - 1/6*log₂ (1/6)= = - log₂(1/6) = log₂(6)

Следует подчеркнуть, что при наличии ненулевой информации о состоянии системы следует использовать условные вероятности вариантов А_i . Например, пусть нами получено сообщение о том, что число очков на кубике четное. В этом случае вероятности нечетных значений равны нулю, а четных - равны 1/3, .

Н₁ = 0 - 1/3*log₂(1/3) - 0 - 1/3*log₂(1/3) - 0 - 1/3*log₂(1/3) = - log₂(1/3) = log₂(3)

Количество полученной нами информации полагается равным разности соответствующих значений величины Н до и после сообщения

Получаем: I = log₂(6)-log₂(3) = log₂(6/3) = log₂(2) = 1 бит – количество переданной информации.