Вычисление количества информации для равновероятных событий

определяется по формуле Хартли:

Задача 1. В коробке 32 карандаша, все карандаши разного цвета. Наугад вытащили красный. Какое количество информации при этом было получено?

Решение:Так как вытаскивание карандаша любого цвета из имеющихся в коробке 32 карандашей является равновероятным, то число возможных событий равно 32.

N = 32, i = ? N = 2ⁱ, 32 = 25, i = 5 бит.

Ответ: 5 бит.

Задача 2. В школьной библиотеке 16 стеллажей с книгами, на каждом – по 8 полок. Ученику сообщили, что нужный учебник находится на 2-ой полке 4-го стеллажа. Какое количество информации получил ученик?

Решение.

1) Число стеллажей (случаев) – 16.

N1 = 16, N1 = 2I, 16 = 2I, 16 = 24, I1= 4 бита.

2) Число полок на каждом стеллаже (случаев) – 8,

N2 = 8, N2 = 2I, 8 = 23, I2 = 3 бит.

3) i = i1 + i2, i = 4 бита + 3 бита = 7 бит.

Ответ: 7 бит.

Задача 3. Загадывают число в диапазоне от 1 до 200. Какое наименьшее количество вопросов надо задать, чтобы наверняка отгадать число. На вопросы можно отвечать только «Да» или «Нет».

Решение:Правильная стратегия состоит в том, чтобы количество вариантов каждый раз уменьшалось вдвое.

Например, загадано число 152.

1 вопрос: Число >100? Да.

2 вопрос: Число < 150? Нет.

3 вопрос: Число > 175? Нет. и т.д.

Количество событий в каждом варианте будет одинаково, и их отгадывание равновероятно. N = ^Ii, 200 = 2ⁱ, 7 < i < 8. Т.к. количество вопросов нецелым числом быть не может, то необходимо задать не более 8 вопросов.

Ответ: 8 вопросов

Формула Хартли - частный случай формулы Шеннона для равновероятных событий:     где N – число возможных событий, i – количество информации в битах.     Формула была предложена Р. Хартли в 1928 г.

Ральф Хартли американский инженер, 30 ноября 1888 г - 1 мая 1970 г