Вимір інформації

• Розроблено різні способи оцінки кількості інформації. Найчастіше використовується спосіб оцінки, запропонований в 1948 році засновником теорії інформації Клодом Шенноном.

• Інформація – це знята невизначеність. Ступінь невизначеності прийнято характеризувати за допомогою поняття "імовірність".

• Імовірність - величина, яка може приймати значення в діапазоні від 0 до 1. Вона є вимір можливості якої-небудь події, яка може мати місце в одних випадках і не мати місця в інших. Якщо подія ніколи не може відбутися, її ймовірність уважається рівною 0. Якщо подія відбувається завжди, її ймовірність рівна 1.

• Чим більша ймовірність події, тим більша упевненість у тому, що воно відбудеться, і тим менше інформації містить повідомлення про цю подію. Якщо ймовірність події мала, то повідомлення про те, що воно трапилось, дуже інформативне.

Кількість інформації

• Повідомлення рівноймовірні (N – кількість можливих повідомлень)

I = log₂N

I = log₂100 ≈ 6,644

При N=2, I = 1 (1 біт інформації)

• Повідомлення мають різну ймовірність

I = — ( p₁log₂ p₁ + p₂ log₂ p₂ + . . . + p_n log₂ p_n) - формула Шеннона

Кількість інформації (2)

При рівних p_i

I=-(N*p*log₂p)=-(log₂p)=log₂(1/p)=log₂N

Повідомлення довжиною n символів алфавіту з N букв містить

I=n*log₂N біт інформації - це формула Хартли

Адекватність інформації– це певний рівень відповідності образа, створюваного за допомогою отриманої інформації, реальному об'єкту, процесу, явищу й т.п.

• Має відношення до моделювання

• Адекватність оцінюється при інтерпретації інформації

Рівні інтерпретації інформації

• Синтаксис – структура інформації

• Семантика – зміст інформації (як треба обробляти її або реагувати на неї)

• Прагматика – призначення інформації (ціль, причина передачі)