Количество информации

Процесс систематического научного познания окружающего мира приводит к накоплению информации в форме знаний. Таким образом, с точки зрения процесса познания информация может рассматриваться как знания.

Информация, которую получает человек, можно считать мерой уменьшения неопределенности знаний. Если некоторое сообщение приводит к уменьшению неопределенности наших знаний, то можно говорить, что такое сообщение содержит информацию.

Например, вы сдаете экзамен по информатике. Сдав свою работу, вы ждете оценки и находитесь в состоянии неопределенности. Наконец, экзаменатор сообщает результаты экзамена, вы узнаете свою оценку, то есть получаете сообщение, которое приносит полную определенность. Происходит переход от полного незнания к знанию, а значит, сообщение экзаменатора содержит информацию.

Подход к информации, как мере уменьшения неопределенности знаний позволяет количественно измерять информацию, что очень важно для информатики.

Еще один пример. Пусть у нас имеется монета, которую мы бросаем на ровную поверхность. С равной вероятностью произойдет одно из двух возможных событий – монета окажется в одном из двух положений: «орел» или «решка».

Перед подбрасыванием существует неопределенность наших знаний, так как возможны два события, и как упадет монета предсказать невозможно. После подбрасывания наступает полная определенность, так как мы получаем зрительное сообщение, что монет приняла какое-то одно из двух положений, например «орел». Это сообщение приводит к уменьшению неопределенности наших знаний в два раза, так как до броска мы имели два вероятных событий, а после броска только одно, то есть в два раза меньше.

Вообще, чем больше количество возможных событий, тем больше начальная неопределенность и соответственно тем большее количество информации будет содержать сообщение о результатах опыта.