Понятие количества информации

Свойство полноты информации негласно предполагает, что име­ется возможность измерять количество информации. Какое количество информации содержится в данной книге, какое количество инфор­мации в популярной песенке? Что содержит больше информации: роман «Война и мир» или сообщение, полученное в письме от това­рища? Ответы на подобные вопросы не просты и не однозначны, так как во всякой информации присутствует субъективная компонента. А возможно ли вообще объективно измерить количество информа­ции? Важнейшим результатом теории информации является вывод о том, что в определенных, весьма широких условиях, можно, пренебре­гая качественными особенностями информации, выразить ее количество числом, а следовательно, сравнивать количество информации, содер­жащейся в различных группах данных.

Количеством информации называют числовую характеристику информации, отражающую ту степень неопределенности, которая исчезает после получения информации.

Рассмотрим пример: дома осенним утром, старушка предполо­жила, что могут быть осадки, а могут и не быть, а если будут, то в форме снега или в форме дождя, т.е. «бабушка надвое сказала - то ли будет, то ли нет, то ли дождик, то ли снег». Затем, выглянув в окно, увидела пасмурное небо и с большой вероятностью предполо­жила — осадки будут, т.е., получив информацию, снизила количество вариантов выбора. Далее, взглянув на наружный термометр, она уви­дела, что температура отрицательная, значит, осадки следует ожидать в виде снега. Таким образом, получив последние данные о темпера­туре, бабушка получила полную информацию о предстоящей погоде и исключила все, кроме одного, варианты выбора.

Приведенный пример показывает, что понятия «информация», «неопределённость», «возможность выбора» тесно связаны. Получа­емая информация уменьшает число возможных вариантов выбора (т.е. неопределенность), а полная информация не оставляет вариан­тов вообще.

За единицу информации принимается один бит (англ. bit — binary digit — двоичная цифра). Это количество информации, при котором неопределенность,,т.е. количество вариантов выбора, умень­шается вдвое или, другими словами, это ответ на вопрос, требующий односложного разрешения — да или нет.

Бит — слишком мелкая единица измерения информации. На практике чаще применяются более крупные единицы, например, байт, являющийся последовательностью из восьми бит. Именно во­семь битов, или один байт, используется для того, чтобы закодиро­вать символы алфавита, клавиши клавиатуры компьютера. Один байт также является минимальной единицей адресуемой памяти компью­тера, т.е. обратиться в память можно к байту, а не биту.

Широко используются еще более крупные производные едини­цы информации:

1 Килобайт (Кбайт) = 1024 байт = 210 байт,

1 Мегабайт (Мбайт) = 1024 Кбайт = 220 байт,

1 Гигабайт (Гбайт) = 1024 Мбайт = 2м байт, .

1 Терабайт (Тбайт) = 1024 Гбайт = -240 байт.

За единицу информации можно было бы выбрать количество информации, необходимое для различения, например, десяти равно­вероятных сообщений. Это будет не двоичная (бит), а десятичная (дит) единица информации. Но данная единица используется редко в компьютерной технике, что связано с аппаратными особенностя­ми компьютеров.