Синтаксическая мера информации
Объем данных Vд сообщении измеряется количеством символов (разрядов) в этом сообщении.
Получение информации о какой-либо системе всегда связано с изменением степени неосведомленности получателя о состоянии этой системы.
Пусть до получения информации потребитель имеет некоторые предварительные сведения о системе α. Мерой его неосведомленности о системе является функция H(α), которая в то же время служит и мерой неопределенности состояния системы.
После получения некоторого сообщения β получатель приобрел некоторую дополнительную информацию Iβ(α), уменьшившую его начальную неосведомленность так, что после получения сообщения β неопределенность состояния системы стала Hβ (α).
Тогда количество информации Iβ(α) о системе, полученной в сообщении β, определится как
т.е. количество информации измеряется уменьшением неопределенности состояния системы.
Если конечная неопределенность Hβ(α) обратится в нуль, то первоначальное неполное знание заменится – полным знанием и количество информации . Таким образом, энтропия системы H(α) может рассматриваться как мера недостающей информации.
Энтропия системы H(α), имеющая N возможных состояний, согласно формуле Шеннона, равна:
где Pi – вероятность того, что система находится в i-м состоянии.
Дата добавления: 2014-12-06; просмотров: 919;