Синтаксическая мера информации

Синтаксическая мера количества информации оперирует с обезличенной информацией, не выражающей смыслового отношения к объекту.

Объем данных V_д в сообщении измеряется количеством символов (разрядов) в этом сообщении. В различных системах счисления один разряд имеет различный вес и соответственно меняется единица измерения данных:

· в двоичной системе счисления единица измерения — бит ( bit — binary digit — двоичный разряд);

· в десятичной системе счисления единица измерения — дит (десятичный разряд).

Пример. Сообщение в двоичной системе в виде восьмиразрядного двоичного кода 10111011 имеет объем данных V_д = 8 бит.

Сообщение в десятичной системе в виде шестиразрядного числа 275903 имеет объем данных V_д = 6 дит.

Количество информации определяется по формуле:

где H(α) – энтропия, т.е. количество информации измеряется изменением (уменьшением) неопределенности состояния системы.

Энтропия системы Н(α), имеющая N возможных состояний, согласно формуле Шеннона, равна:

где p_i – вероятность того, что система находится в i-м состоянии.

Для случая, когда все состояния системы равновероятны, ее энтропия определяется соотношением

где N – число всевозможных отображаемых состояний;

m – основание системы счисления (разнообразие символов, применяемых в алфавите);

n – число разрядов (символов) в сообщении.