Задача 6.2.3
Матриця ймовірностей сумісної появи символів на виходах двох немарковських джерел з алфавітами 
та 
має вигляд:
Визначити, яке з джерел має більшу ентропію та чи є джерела статистично незалежними.
Розв’язання. Для відповіді на перше запитання розрахуємо, користуючись виразами (1.13), безумовні ймовірності появи символів на
виходах першого та другого джерел:
p(x1) = 0,0336 + 0,3150 + 0,0714 = 0,42 ;
p(x2) = 0,0264 + 0,2475 + 0,0561 = 0,33 ;
p(x3) = 0,0200 + 0,1875 + 0,0425 = 0,25 ;
p(y1) = 0,0336 + 0,0264 + 0,0200 = 0,08 ;
p(y2) = 0,3150 + 0,2475 + 0,1875 = 0,75 ;
p(y3) = 0,0714 + 0,0561 + 0,0425 = 0,17 .
Тепер можемо знайти ентропії джерел за виразом (6.1):
|
Таким чином, джерело з алфавітом 
має більшу ентропію, ніж джерело з алфавітом 
.
Відповідь на друге запитання можна отримати різними способами. По-перше, оскільки вже відомі значення ентропій 
та 
, доцільно перевірити, чи виконується рівність (6.18). Для цього розрахуємо сумісну ентропію 
. Підставивши чисельні значення ймовірностей у вираз (6.11), отримаємо:
|
Оскільки 
,джерела є статистично незалежними.
Другий спосіб базується на перевірці виконання співвідношень 
для всіх пар символів:
p(x1) × p(y1) = 0,42×0,08 = 0,0336 ;
p(x2) × p(y1) = 0,33×0,08 = 0,0264 ;
p(x3) × p(y1) = 0,25×0,08 = 0,0200 ;
p(x1) × p(y2) = 0,42×0,75 = 0,3150 ;
p(x2) × p(y2) = 0,33×0,75 = 0,2475 ;
p(x3) × p(y2) = 0,25×0,75 = 0,1875 ;
p(x1) × p(y3) = 0,42×0,17 = 0,0714 ;
p(x2) × p(y3) = 0,33×0,17 = 0,0561 ;
p(x3) × p(y3) = 0,25×0,17 = 0,0561 .
Як і слід було очікувати, розраховані ймовірності цілком збігаються із відповідними значеннями ймовірностей 
сумісної появи символів, що наведені в умовах задачі.
Найбільш універсальним способом оцінки статистичної залежності джерел є обчислення повної взаємної інформації 
. Аналізуючи вираз (6.23), легко зрозуміти, що для джерел цієї задачі 
,оскільки для усіх пар 
|
Ще один спосіб розв’язання задачі базується на аналізі матриці умовних імовірностей. Розрахуємо, наприклад, умовні ймовірності 
, користуючись виразом 
:
Всі елементи кожного стовпця однакові і дорівнюють безумовній ймовірності 
появи відповідного символу 
. Це означає, що ймовірність появи символу на виході першого джерела не залежить від символу на виході другого джерела. Можна переконатись, що i в матриці умовних ймовірностей 
всі елементи кожного стовпця будуть однаковими і дорівнювати 
.
Дата добавления: 2014-12-22; просмотров: 677;