Ақпарат саны және артықшылық.

Ақпарат саны дегеніміз сынақ нәтижесінде энтропияның азаюы. Егер анықталмағандық толығымен жойылса, онда ақпарат энтропияға тең:

, кері жағдайда бастапқы және соңғы энтропиялардың айырмасына тең:

(2.1)

Ақпараттың ең үлкен саны максималды анықталмағандық жойылғанда – барлық оқиғалардың ықтималдылықтары бірдей болғанда анықталады.

, мұндағы – барлық оқиғалардың бірдей ықтималдықтар жағдайында іске асу ықтималдылығы.

Ақпарат артықшылығы дегеніміз ақпараттың максималды мүмкін саны мен энтропия арасындағы айырмашылық:

(2.2)

Ақпарат дегеніміз хабарламаны қабылдағанда, алынып тасталынатын анықталмағандық болғандықтан, ақпарат санын бір хабарламаға шаққанда, хабарламаның жалпы санының орташа энтропияға көбейтіндісі ретінде қарастыруға болады:

Бірдей ықтималдылық және алғашқы алфавиттің өзара тәуелсіз символдар жағдайында алфавиттің хабарламасында ақпарат саны келесідей анықталады:

(бит).

Бірдей емес ықтималдылықтар алфавиттері үшін, алфавит символына шаққанда энтропия төмендегідей болады:

(бит/символ),

бірдей емес ықтималдылықтар символдарынан құрастырылған хабарламада ақпарат саны төмендегідей анықталады:









Дата добавления: 2016-04-22; просмотров: 1355; ЗАКАЗАТЬ НАПИСАНИЕ РАБОТЫ


Поиск по сайту:

При помощи поиска вы сможете найти нужную вам информацию, введите в поисковое поле ключевые слова и изучайте нужную вам информацию.

Поделитесь с друзьями:

Если вам понравился данный ресурс вы можете рассказать о нем друзьям. Сделать это можно через соц. кнопки выше.
helpiks.org - Хелпикс.Орг - 2014-2020 год. Материал сайта представляется для ознакомительного и учебного использования. | Поддержка
Генерация страницы за: 0.004 сек.