Измерение информации.

Для количественного определения любой величины необходимо определить единицу измерения.

За единицу количества информации принято такое количество информации, которое содержит сообщение, уменьшающее неопределенность знания в два раза. Такая единица называется бит.

Существует формула, которая связывает между собой количество возможных событий (N) и количество информации (I):

 

N = 2I

 

По этой формуле можно легко определить количество возможных событий, если известно количество информации. Например, если получено 4 бита информации, то количество возможных событий будет 16.

Наоборот, для определения количества информации, если известно количество событий. Необходимо решить показательное уравнение относительно I. Например, в игре крестики-нолики на поле 8х8 перед первым ходом существует 64 возможных события (64 варианта расположения крестика). Тогда уравнение принимает вид:

 

64 = 2I

 

Так как 64 = 26, то уравнение принимает вид:

 

26 = 2I

 

Таким образом, I = 6 бит, то есть количество информации, полученное вторым игроком после хода первого, составляет 6 бит.

На практике существует множество ситуаций, когда возможные события имеют различные вероятности реализации. В этом случае для вычисления количества информации используется формула Шеннона (названа по имени автора):

 

I = - pilog2pi

где I – количество информации,

N – количество возможных событий,

pi – вероятности отдельных событий.

Например, пусть при бросании несимметричной четырехгранной пирамидки вероятности отдельных событий будут следующими: p1=0,5, p2=0,25, p3=0,125 p4=0,125. Тогда количество информации, которое можно получить после реализации одного из указанных событий можно рассчитать по формуле Шеннона.

 

I = - (0,5log0,5 + 0,25log0,25 + 0,125log0,125 + 0,125log0,125) бит = -(0,5*(-1) + 0,25*(-2) + 0,125*(-3) + 0,125*(-3)) = -(-0,5 – 0,5 – 0,375 – 0,375) = 0,5 + 0,5 + 0,375 + 0,375 = 1,75 бит

 

Для частного, но широко распространенного случая, когда события равновероятны (pi = 1/N), величину количества информации можно рассчитать по формуле:

I = - log2 = log2N

 

Минимальной единицей количества информации является бит. В информатике система образования кратных единиц измерения количества информации отличается от принятых в большинстве наук. Поскольку компьютер оперирует в двоичной системе счисления в кратных единицах измерения количества информации используется коэффициент 2n.

1 байт = 23бит = 8 бит

1 Кбайт = 210 байт = 1024 байт

1 Мбайт = 220 байт = 1024 Кбайт

1 Гбайт = 230 байт = 1024 Мбайт








Дата добавления: 2015-11-12; просмотров: 1699;


Поиск по сайту:

При помощи поиска вы сможете найти нужную вам информацию.

Поделитесь с друзьями:

Если вам перенёс пользу информационный материал, или помог в учебе – поделитесь этим сайтом с друзьями и знакомыми.
helpiks.org - Хелпикс.Орг - 2014-2024 год. Материал сайта представляется для ознакомительного и учебного использования. | Поддержка
Генерация страницы за: 0.004 сек.