Ақпарат саны және артықшылық.

Ақпарат саны дегеніміз сынақ нәтижесінде энтропияның азаюы. Егер анықталмағандық толығымен жойылса, онда ақпарат энтропияға тең:

, кері жағдайда бастапқы және соңғы энтропиялардың айырмасына тең:

(2.1)

Ақпараттың ең үлкен саны максималды анықталмағандық жойылғанда – барлық оқиғалардың ықтималдылықтары бірдей болғанда анықталады.

, мұндағы – барлық оқиғалардың бірдей ықтималдықтар жағдайында іске асу ықтималдылығы.

Ақпарат артықшылығы дегеніміз ақпараттың максималды мүмкін саны мен энтропия арасындағы айырмашылық:

(2.2)

Ақпарат дегеніміз хабарламаны қабылдағанда, алынып тасталынатын анықталмағандық болғандықтан, ақпарат санын бір хабарламаға шаққанда, хабарламаның жалпы санының орташа энтропияға көбейтіндісі ретінде қарастыруға болады:

Бірдей ықтималдылық және алғашқы алфавиттің өзара тәуелсіз символдар жағдайында алфавиттің хабарламасында ақпарат саны келесідей анықталады:

(бит).

Бірдей емес ықтималдылықтар алфавиттері үшін, алфавит символына шаққанда энтропия төмендегідей болады:

(бит/символ),

бірдей емес ықтималдылықтар символдарынан құрастырылған хабарламада ақпарат саны төмендегідей анықталады: