Ентропія та інформація

Кількість інформації будемо виміряти зменшенням ентропії тієї системи, для уточнення стану якої ці відомості призначені. Кількість інформації, здобутої при повному з’ясуванні стану деякої системи, дорівнює ентропії цієї системи. Тобто

.

Часткова інформація, отримана від окремого повідомлення, за умови, що система Х знаходиться в стані ,знаходиться за формулою

.

Якщо всі можливі стани системи однаково рівноймовірні , то

.

Розглянемо систему з двома станами:

Для вимірювання інформації в двійкових одиницях можна умовно характеризувати її кількістю відповідей типу «так» або «ні», за допомогою яких можна здобувати таку саму інформацію. Максимальна інформація досягається за умови p₁=p₂=1/2 і I_x=1. Якщо інформація від будь-якого повідомлення дорівнює n двійковим одиницям, то вона рівносильна інформації, яка надається n відповідями «так» або «ні» на питання, поставлені таким чином, що «так» або «ні» однакової ймовірності.

Приклад. Дехто задумав ціле число від 1 до 8. Яку мінімальну кількість запитань типу «так» або «ні» треба поставити, щоб його вгадати?

Розв’язання. Знайдемо інформацію, яка знаходиться у повідомленні, яке число задумане. Всі значення Х від 1 до 8 рівноймовірні (р₁=р₂=…=р₈=1/8), тому . Мінімальну кількість питань, які треба поставити для знаходження задуманого числа, не більше ніж 3.

На практиці виникає потреба в спостереженні не над самою системою Х (вона є недосяжною для спостереження), а над іншою системою У, яка пов’язана з нею. Відмінність між системами Х та У може бути двох видів:

1 Відмінність за рахунок того, що деякі стани системи Х не знаходять відображення в системі У.

2 Відмінність за рахунок помилок, які виникають при вимірюванні параметрів системи Х та при передачі повідомлень.

Кількість інформації про систему Х, яке дає спостереження над системою У, обчислимо за формулою

.

Це є повна ( або середня) інформація про систему Х, яка знаходиться в системі У. Інформацію будемо називати повною взаємною інформацією, яка знаходиться у системах Х та У. Якщо Х та У незалежні, то і . У випадку коли стан системи Х повністю відповідає стану системи У і навпаки, то і

.

Знайдемо повну взаємну інформацію через ентропії об’єднаної системи та її складових:

.

Після певних перетворень, враховуючи вищеназване, маємо

(1)

Приклад 1. Маємо дві системи Х та У об’єднані в одну (Х,У). Ймовірність стану об’єднаної системи задано таблицею:

Знайти повні умовні ентропії і та повну взаємну інформацію .

Розв’язання.

Знайдемо ймовірності подій х_i та у_j: р₁=0,1; р₂=0,7; р₃=0,2; r₁=0,3; r₂=0,3; r₃=0,4

та отримаємо таблиці умовних ймовірностей Р(y_j/x_i) :

та Р(x_i/y_j)

;

,

,

,

Приклад 2.Ймовірність отриманнякредиту в банкудорівнює 20%. Припустимо, що завчасно робиться прогноз з отримання кредиту. Прогноз отримання кредиту буває помилковим приблизно в половині всіх випадків, а прогноз неотримання кредиту є помилковим в одному випадку з десяти. Яка кількість інформації в бітах знаходиться в повідомленні про отримання кредиту ?

Розв’язання. Запишемо такі події: А₁-отримання кредиту; А₂- неотримання кредиту; В₁- прогноз видачі кредиту; В₂ - прогноз невидачі кредиту:

Р(А₁)=0,2 Р(А₂)=0,8 Р(А₁/В₁)=0,5 Р(А₁/В₂)=1/10.

Будемо використовувати формулу повної ймовірності:

.

Маємо:

Знаходимо рішення системи Р(В₁)=1/4 Р(В₂)=3/4.

Для знаходження кількості інформації застосовуємо формулу (1)

Враховуючи, що Р(АВ)=Р(В)Р(А/В), маємо:

Р(А₁ В ₁)=Р(В₁ )Р(А ₁/В₁ )=1/8 ; Р(А₁ В₂)=3/40;

Р(А₂ В₁)=1/8; Р(А₂ В₂)=27/40;

I_Y↔X =0,12 бітів.

Іноді необхідно оцінити часткову інформацію про систему Х, яка знаходиться в окремому повідомленні, коли система У знаходиться в конкретному стані у_j. Позначимо цю часткову інформацію . Враховуючи, що

, а також (1)

маємо

Для знаходження часткової інформації про подію х_i, яка знаходиться в події у_j, необхідно застосовувати формулу

Таким чином, часткова інформація про подію, яка отримується при повідомленні про іншу подію, дорівнює логарифму відношення ймовірності першої події після повідомлення до його ймовірності до повідомлення. Ця інформація може бути як додатною так і від’ємною.

Приклад. В урні маємо 3 білих та 4 чорних кулі. Витягли 4 кулі: 3 чорні та 1 білу. Знайти кількість інформації в бітах, яка знаходиться в спостережної події В відносно події А, наступна куля, яку будемо витягати, буде чорною.

Розв’язання