Количественная мера информации

В теории и технике связи при определении количества информации не учитывается содержательная сторона сообщений. В основу измерения количества информации положены вероятностные характеристики передаваемых сообщений, которые отражают степень их неопределенности (неожиданности).

Количество информации в отдельно взятом сообщении определяется величиной, обратной вероятности сообщения и вычисляется в логарифмических единицах:

,

где - основание логарифма. Определяет единицу измерения количества информации:

- - десятичная единица (дит);

- - натуральная единица (нат);

- - двоичная единица (бит).

1 БИТ – количество информации, содержащееся в сообщении, вероятность которого 0,5. Такая единица на практике наиболее удобна вследствие широкого использования двоичных кодов в вычислительной технике и связи.

Если речь идет о зависимых сообщениях, то количество информации в сообщении:

,

где - условная вероятность сообщения при условии, что перед ним появились .