Количественная мера информации

 

Посылка сообщения о событии представляет собой выбор одного элемента из множества возможных элементов.

Например, для оценки знаний студентов можно применить два варианта:

Вариант 1: Оценка знаний состоит из четырех ступеней: "Отлично", "Хорошо", "Удовлетворительно" и "Неудовлетворительно";

Вариант 2: Оценка знаний состоитиз двух ступеней: "Зачтено" и "Не зачтено".

Очевидно, что первый вариант обеспечивает более точную оценку знаний по сравнению со вторым. Это означает, что каждая из ступеней оценки по первому ва­рианту содержит большее количество информации, чем по второму.

Этот пример показывает, что существует определенная связь между количеством инфор­мации и возможностями выбора.

Для рассмотрения процесса сложного выбора предположим, что необходимо описать путь от точки "Старт" до любой из точек " 1 " – "8 ", например, до точки " 5 " (рис. 1.1.3).

 
 


 

Рис. 1.1.3. Схема последовательности выборов

 

 

При описании пути необходимо последо­вательно делать выбор одного из двух направлений: либо "вверх", либо "вниз".

Если движение вверх обозначить символом “1”, а движение вниз – символом “0”, то путь от точки “Старт“ до точки “5” может быть описан комбинацией из трех символов: “1 – 0 – 0”.

Аналогичным образом можно поступить и в более сложных случаях. Таким образом, передачу сообщения любой сложности можно свести к комбинации простейших выборов.

За единицу количества информации можно принять количество информации, содержащееся в сообщении, которое представляет собой один элементарный выбор (n = 1) из двух возможных значений (m = 2).

В общем случае число возможных сообщений N определяется из соотношения:

N = m n;

где m –число возможных элементов в каждом выборе

(в нашем случае m = 2);

n – количество последовательных выборов

(в нашем случае n = 3).

Количество информации I, содержащейся в любом сообщении, представляет собой логарифмическую меру общего числа возможных сообщений N:

I = log а N,

 

Тогда log a N = n · log a m ;

 

Поскольку при элементарном выборе (n = 1, m = 2) количество информации должно быть равно единице, то основанием логарифма, при котором соблюдается это условие, равно двум. В этом случае одна двоичная единица информации соответствует сообщению о том, что произошло одно из двух равновероятных событий. Тогда формула для подсчета количества информации в сообщении принимает вид:

 

I = n · log 2m ;

 

Двоичная единица информации называется “бит” от сочетания английских слов “binary digit”.

Если сообщение состоит из “n” двоичных элементов (бит), то число возможных сообщений равно:

N = 2 n;

В рассмотренном примере передачи выбора из восьми точек ( N = 8 ) содержится три единицы (бита) информации ( n = 3 ), поскольку:

23= 8;

 

Здесь рассматривался простой случай подсчета количества информации, в котором все элементы равновероятны.

На самом деле некоторые состояния физического процесса наступают более часто, а другие – реже. Число возможных сообщений (количество информации) в этом случае меньше, чем при равной вероятности.

 

 








Дата добавления: 2015-06-22; просмотров: 583;


Поиск по сайту:

При помощи поиска вы сможете найти нужную вам информацию.

Поделитесь с друзьями:

Если вам перенёс пользу информационный материал, или помог в учебе – поделитесь этим сайтом с друзьями и знакомыми.
helpiks.org - Хелпикс.Орг - 2014-2024 год. Материал сайта представляется для ознакомительного и учебного использования. | Поддержка
Генерация страницы за: 0.005 сек.