Синтаксические меры информации
Объем данных в сообщении измеряется количеством символов (разрядов) принятого алфавита в этом сообщении.
Часто информация кодируется числовыми кодами в той или иной системе счисления. Естественно, что одно и то же количество разрядов в разных системах счисления способно передать разное число состояний отображаемого объекта.
Действительно,
N = mn,
где: N — число всевозможных отображаемых состояний; m — основание системы счисления (разнообразие символов, применяемых в алфавите); n — число разрядов (символов) в сообщении.
Поэтому в различных системах счисления один разряд имеет различный вес, и соответственно, меняется единица измерения данных. Так, в двоичной системе счисления единицей измерения служит бит (binary digit, двоичный разряд), в десятичной системе счисления — дит (десятичный разряд).
ПРИМЕЧАНИЕ
Сообщение, представленное в двоичной системе как 10111011, имеет объем данныхVд=8 битов; Сообщение 275903, представленное в десятичной системе имеет объем данных Vд=6 дитов.
В современных компьютерах наряду с минимальной единицей данных — битом, широко используется укрупненная единица измерения байт, равная 8 битам.
Определение количества информации на синтаксическом уровне невозможно без рассмотрения понятия неопределенности состояния (энтропии) системы. Действительно, получение информации связано с изменением степени неосведомленности получателя о состоянии системы. До получения информации получатель мог иметь некоторые предварительные (априорные) сведения о системе a; мера неосведомленности о системе — Н(a) и является для него мерой неопределенности состояния системы. После получения некоторого сообщения b получатель приобрел дополнительную информацию Ib(a),уменьшившую его априорную неосведомленность так, что апостериорная (после получения сообщения b) неопределенность состояния системы стала Н(a/b). Тогда, количество информацииIb(a) о системе a, полученное в сообщении b, будет определено как:
Ib(a) = Н(a) — Н(a/b).
Таким образом, количество информации измеряется изменением (уменьшением) неопределенности состояния системы. Если конечная неопределенность Н(a/b) обратится в нуль, то первоначальное неполное знание заменится полным знанием и количество информации станет равно:
Ib(a) = Н(a).
Иными словами, энтропия системыН(a) может рассматриваться как мера недостающей информации. Энтропия системыН(a), имеющейN возможных состояний, согласно формуле Шеннона равна
где Pi — вероятность того, что система находится в i-м состоянии.
Для случая, когда все состояния системы равновероятны, то есть Pi = 1/N, ее энтропия такова:
Рассмотрим пример. По каналу связи передается n-разрядное сообщение, использующее m различных символов, так что количество всевозможных кодовых комбинаций будет N = mn.. При равновероятном появлении любой кодовой комбинации количество информациив правильном сообщении — формула Хартли:
Если в качестве основания логарифма принять m, то I = n. В данном случае количество информации (при условии полного априорного незнания получателем содержания сообщения) будет равно объему данных I = VД..
Для не равновероятныхсостояний системы всегда:
I < Vд, Vд = n.
Наиболее часто используются двоичные и десятичные логарифмы. Единицами измерения в этих случаях будут соответственно бит и дит.
Степень информативности сообщения Y определяется отношением количества информации к объему данных, то есть Y = I/VД, причем 0 < Y < 1. (Y характеризует лаконичность сообщения.)
С увеличением Y уменьшаются объемы работы по преобразованию информации (данных) в системе. Поэтому стремятся к повышению информативности, для чего разрабатываются специальные методы оптимального кодирования информации.
Дата добавления: 2016-04-02; просмотров: 672;