Количественная мера информации

Посылка сообщения о событии представляет собой выбор одного элемента из множества возможных элементов.

Например, для оценки знаний студентов можно применить два варианта:

Вариант 1: Оценка знаний состоит из четырех ступеней: "Отлично", "Хорошо", "Удовлетворительно" и "Неудовлетворительно";

Вариант 2: Оценка знаний состоитиз двух ступеней: "Зачтено" и "Не зачтено".

Очевидно, что первый вариант обеспечивает более точную оценку знаний по сравнению со вторым. Это означает, что каждая из ступеней оценки по первому ва­рианту содержит большее количество информации, чем по второму.

Этот пример показывает, что существует определенная связь между количеством инфор­мации и возможностями выбора.

Для рассмотрения процесса сложного выбора предположим, что необходимо описать путь от точки "Старт" до любой из точек " 1 " – "8 ", например, до точки " 5 " (рис. 1.1.3).

Рис. 1.1.3. Схема последовательности выборов

При описании пути необходимо последо­вательно делать выбор одного из двух направлений: либо "вверх", либо "вниз".

Если движение вверх обозначить символом “1”, а движение вниз – символом “0”, то путь от точки “Старт“ до точки “5” может быть описан комбинацией из трех символов: “1 – 0 – 0”.

Аналогичным образом можно поступить и в более сложных случаях. Таким образом, передачу сообщения любой сложности можно свести к комбинации простейших выборов.

За единицу количества информации можно принять количество информации, содержащееся в сообщении, которое представляет собой один элементарный выбор (n = 1) из двух возможных значений (m = 2).

В общем случае число возможных сообщений N определяется из соотношения:

N = m ⁿ;

где m –число возможных элементов в каждом выборе

(в нашем случае m = 2);

n – количество последовательных выборов

(в нашем случае n = 3).

Количество информации I, содержащейся в любом сообщении, представляет собой логарифмическую меру общего числа возможных сообщений N:

I = log _а N,

Тогда log _a N = n · log _a m ;

Поскольку при элементарном выборе (n = 1, m = 2) количество информации должно быть равно единице, то основанием логарифма, при котором соблюдается это условие, равно двум. В этом случае одна двоичная единица информации соответствует сообщению о том, что произошло одно из двух равновероятных событий. Тогда формула для подсчета количества информации в сообщении принимает вид:

I = n · log ₂m ;

Двоичная единица информации называется “бит” от сочетания английских слов “binary digit”.

Если сообщение состоит из “n” двоичных элементов (бит), то число возможных сообщений равно:

N = 2 ⁿ;

В рассмотренном примере передачи выбора из восьми точек ( N = 8 ) содержится три единицы (бита) информации ( n = 3 ), поскольку:

2³= 8;

Здесь рассматривался простой случай подсчета количества информации, в котором все элементы равновероятны.

На самом деле некоторые состояния физического процесса наступают более часто, а другие – реже. Число возможных сообщений (количество информации) в этом случае меньше, чем при равной вероятности.