Количественная мера информации
Посылка сообщения о событии представляет собой выбор одного элемента из множества возможных элементов.
Например, для оценки знаний студентов можно применить два варианта:
Вариант 1: Оценка знаний состоит из четырех ступеней: "Отлично", "Хорошо", "Удовлетворительно" и "Неудовлетворительно";
Вариант 2: Оценка знаний состоитиз двух ступеней: "Зачтено" и "Не зачтено".
Очевидно, что первый вариант обеспечивает более точную оценку знаний по сравнению со вторым. Это означает, что каждая из ступеней оценки по первому варианту содержит большее количество информации, чем по второму.
Этот пример показывает, что существует определенная связь между количеством информации и возможностями выбора.
Для рассмотрения процесса сложного выбора предположим, что необходимо описать путь от точки "Старт" до любой из точек " 1 " – "8 ", например, до точки " 5 " (рис. 1.1.3).
Рис. 1.1.3. Схема последовательности выборов
При описании пути необходимо последовательно делать выбор одного из двух направлений: либо "вверх", либо "вниз".
Если движение вверх обозначить символом “1”, а движение вниз – символом “0”, то путь от точки “Старт“ до точки “5” может быть описан комбинацией из трех символов: “1 – 0 – 0”.
Аналогичным образом можно поступить и в более сложных случаях. Таким образом, передачу сообщения любой сложности можно свести к комбинации простейших выборов.
За единицу количества информации можно принять количество информации, содержащееся в сообщении, которое представляет собой один элементарный выбор (n = 1) из двух возможных значений (m = 2).
В общем случае число возможных сообщений N определяется из соотношения:
N = m n;
где m –число возможных элементов в каждом выборе
(в нашем случае m = 2);
n – количество последовательных выборов
(в нашем случае n = 3).
Количество информации I, содержащейся в любом сообщении, представляет собой логарифмическую меру общего числа возможных сообщений N:
I = log а N,
Тогда log a N = n · log a m ;
Поскольку при элементарном выборе (n = 1, m = 2) количество информации должно быть равно единице, то основанием логарифма, при котором соблюдается это условие, равно двум. В этом случае одна двоичная единица информации соответствует сообщению о том, что произошло одно из двух равновероятных событий. Тогда формула для подсчета количества информации в сообщении принимает вид:
I = n · log 2m ;
Двоичная единица информации называется “бит” от сочетания английских слов “binary digit”.
Если сообщение состоит из “n” двоичных элементов (бит), то число возможных сообщений равно:
N = 2 n;
В рассмотренном примере передачи выбора из восьми точек ( N = 8 ) содержится три единицы (бита) информации ( n = 3 ), поскольку:
23= 8;
Здесь рассматривался простой случай подсчета количества информации, в котором все элементы равновероятны.
На самом деле некоторые состояния физического процесса наступают более часто, а другие – реже. Число возможных сообщений (количество информации) в этом случае меньше, чем при равной вероятности.
Дата добавления: 2015-06-22; просмотров: 587;