Шартты энтропия мен біріктіру энтропиясының анықтамасы

Ақпараттар теориясында шартты энтропия түсінігі төмендегідей өзара байланысты анықтағанда қолданылады:

а) кодталатын алфавит символдарымен (бір қайнар көзбен тізбектеліп таңдалатын жағдай арасында);

ә) байланыс каналдарымен ақпаратты тасымалдағанда жоғалтуларды анықтау үшін;

б) біріктіру энтропиясын есептеу үшін.

Егер – хабарлама көзінің еркін түрдегі жағдайы, – адресаттың еркін түрдегі жағдайы болса, онда дербес шартты энтропия қайнар көздің әрбір -ші жағдайында шартты энтропиясын анықтайды және келесі формуламен есептелінеді:

(1.3)

Жалпы шартты энтропия хабарламасына қатысты таратылатыны белгілі болса, қабылдағыштағы ақпарат санын сипаттайды, (немесе, ансамбльдің жағдайы белгілі болғанда, ансамблінің бір жағдайына шаққанда орташа анықталмағандық).

(1.4)

Қасиеттері:

және екі ансамбльдерін біріктіру үшін

және .

Жалпы жағдайда егер біз -ның сигналдарын тасымалдап және -ның cигналдарын алуды күтетін болсақ, онда байланыс каналында кедергілердің әсері толығымен келесі түрдегі каналдық матрицамен баяндалады:

Диагональдар бойынша орналасқан ықтималдылықтар дұрыс, ал қалғандары – жалған қабылдауды анықтайды.

Каналдық матрицаның колонкаларын толтыратын цифрлардың мәні, әдетте негізгі диагональдан қашықтаған сайын кемиді және кедергінің болмаған жағдайында негізгі диогональда орналасқандардың барлығы, цифрдан басқаларының бәрі нөлге тең болады.

Бірігу энтропиясы және статистикалық тәуелді хабарламалардың бірге пайда болу энтропиясын есептеу үшін қолданылады. хабарламасын жіберу ансамблі және қабылдау ансамблі үшін біріктіру энтропиясы келесідей болады:

бит/екі символ (1.5)

Тәуелсіз ансамбльдер болған жағдайда:

Біріктіру энтропиясы және шартты энтропия өзара келесідей қатынаспен байланысқан:

(1.6)

Біріктіру энтропиясы келесі түрдегі матрицаның көмегімен есептелуі мүмкін:

Матрица қасиеттері:

,

Қорытынды: Таратқыш хабарламаны сигналға ауыстырады. Ақпараттар теориясының негізгі міндеті – оптималды байланыс жүйесінің принциптерін құру. Хабарламаны сипаттаудың қысқартылған тәсілдерін, яғни жалпыланған кванттау және статистикалық кодтауды құрастыру. Бірнеше өзарабайланыстағы ансамбльдердің энтропиясын анықтау.

Дәрісте пайдаланылатын слайд:Ақпараттар теориясының негізгі түсініктері мен міндеттері

Негізгі әдебиет: [1-4];

Қосымша әдебиет: [1-3];

Бақылау сұрақтары:

1. Ақпараттар теориясының негізгі міндеттерін анықтаңыз.

2. Байланыс жүйесі ұғымын анықтаңыз.

3. Ақпараттың негізгі өлшемдерін атаңыз.

4. Энтропия түсінігін анықтаңыз.

5. Энтропияның негізгі қасиеттерін атаңыз.

6. Ақпараттық теориядағы шартты энтропия түсінігі қай жерде қолданылады?

7. Өзарабайланыстағы символдардың бірге пайда болу ықтималдылығын анықтау.

8. Каналдық матрица құрамын және оның қасиеттерін анықтаңыз.

9. Шартты энтропия үшін өрнекті жазыңыз және оның мағынасын түсіндіріңіз.

10. Бірнеше өзарабайланыстағы ансамбльдердің энтропиясын қалай анықтауға болады?

Дәріс №2.

Тақырыбы: Ақпаратты өлшеу.

Дәріс мақсаты: Энтропияның негізгі қасиетін ескеру, оның максималды энтропия шартын анықтап, өлшем бірліктерін есептеу

Қарастырылатын негізгі сөздер:Ақпарат артықшылығы, дифференциалды энтропия, эпсилон-энтропия, шуылы бар байланыс каналдары

Қарастырылатын сұрақтар:

-Ақпарат саны және артықшылық

-Артық ақпараттың болуы, негізгі түсініктер

-Дифференциалды энтропия

-Эпсилон-энтропия

-Шуылы бар байланыс каналдары арқылы хабарламаны тасымалдағанда ақпараттық жоғалтулар