Синтаксическая мера информации

Синтаксическая мера количества информации оперирует с обезличенной информацией, не выражающей смыслового отношения к объекту.

Объем данных Vд в сообщении измеряется количеством символов (разрядов) в этом сообщении. В различных системах счисления один разряд имеет различный вес и соответственно меняется единица измерения данных:

· в двоичной системе счисления единица измерения — бит ( bit — binary digit — двоичный разряд);

· в десятичной системе счисления единица измерения — дит (десятичный разряд).

Пример. Сообщение в двоичной системе в виде восьмиразрядного двоичного кода 10111011 имеет объем данных Vд = 8 бит.

Сообщение в десятичной системе в виде шестиразрядного числа 275903 имеет объем данных Vд = 6 дит.

Количество информации определяется по формуле:

где H(α) – энтропия, т.е. количество информации измеряется изменением (уменьшением) неопределенности состояния системы.

Энтропия системы Н(α), имеющая N возможных состояний, согласно формуле Шеннона, равна:

где pi – вероятность того, что система находится в i-м состоянии.

Для случая, когда все состояния системы равновероятны, ее энтропия определяется соотношением

где N – число всевозможных отображаемых состояний;

m – основание системы счисления (разнообразие символов, применяемых в алфавите);

n – число разрядов (символов) в сообщении.


<== предыдущая лекция | следующая лекция ==>
Формулы Хартли и Шеннона | Прагматическая мера информации




Дата добавления: 2019-10-16; просмотров: 207; ЗАКАЗАТЬ НАПИСАНИЕ РАБОТЫ


Поиск по сайту:

При помощи поиска вы сможете найти нужную вам информацию, введите в поисковое поле ключевые слова и изучайте нужную вам информацию.

Поделитесь с друзьями:

Если вам понравился данный ресурс вы можете рассказать о нем друзьям. Сделать это можно через соц. кнопки выше.
helpiks.org - Хелпикс.Орг - 2014-2020 год. Материал сайта представляется для ознакомительного и учебного использования. | Поддержка
Генерация страницы за: 0.006 сек.