Определение основных понятий

ОСНОВЫ ТЕОРИИ ПЕРЕДАЧИ ИНФОРМАЦИИ

Определение основных понятий

Информация (от лат. Informatio - разъяснение, изложение) первоначально - сведения, передаваемые одними людьми другим людям устным, письменным или каким-либо другим способом (например, с помощью условных сигналов, с использованием технических средств связи и т.д.) (БСЭ - III изд., Т. 10, с. 353). С увеличением потока информации (сведений) возникли проблемы описания передачи информации между людьми, между человеком и автоматом, между автоматами. Появились некоторые теории количественной оценки отдельных видов информации (например, в технике связи, кибернетике). Однако полного и всеохватывающего определения информации на сегодня не существует.

Классическая теория информации не рассматривает ни вопроса о содержании передаваемых сообщений, ни эффекта воздействия этих сообщений на получателя. Поэтому термин "информация" трактуется как приращение сведений об источнике информации, образующееся у получателя при получении информации. Какая-то доля информации была у нас априорно (или полное ее отсутствие), остальные сведения о состоянии источника нам не известны (имеется априорная неопределенность источника информации). Получение в результате ответа информации об источнике увеличивает у нас количество информации и снимает неопределенность у источника.

Рассмотрим изменение объема информации в конкретных случаях. Пусть у нас опыт имеет лишь один исход и не содержит никакой неопределенности, тогда мы заранее знаем исход этого опыта. В результате осуществления опыта мы не получим никакой информации (При передаче сообщения "Волга впадает в Каспийское море" мы не получаем никакого нового сообщения, т.к. нам это было известно заранее).

Пусть опыт имеет два равновероятных исхода (например, прием одной посылки бинарного сигнала). Принимаемый сигнал несет определенную информацию (вероятность каждого сигнала Р = 1/2).

Пусть третий опыт связан с возможностью получить один из 10 равновероятных исходов. В этом случае будет большая предварительная неопределенность относительно источника, а принятое сообщение даст более уточненную характеристику состояния источника. Вероятность каждого исхода P(x_i) = 1/10 - меньше чем во втором опыте.

Вывод: чем меньше априорная вероятность события, тем больше информации несет об источнике сообщение (т.е. тем более неожиданный исход).

В третьем случае неопределенность выше. Может показаться, что степень неопределенности определяется числом возможных состояний системы. Однако, в общем случае это не так. Рассмотрим РЭС, техническое состояние которого может быть в двух состояниях: исправно и неисправно. Предположим, что до получения сведений (априори) вероятность исправной системы 0,99, а отказ - 0,01. Такая система обладает малой степенью неопределенности: почти наверное можно предположить, что РЭС исправно. При бросании монеты также два состояния, но степень неопределенности гораздо выше.

Вывод: степень неопределенности системы определяется не только числом возможных состояний, но и вероятностями состояний.

Поэтому естественно предположить, что количественной мерой неопределенности отдельного сообщения, а также непередаваемой им информации может быть величина, обратная его априорной вероятности 1/P(x_i) (что и предложил Р.Хартли в 1928 г.). Однако, такая мера неудобна (при P(x_i) = 1 достоверное событие, количество информации оказывается не 0, а 1; кроме того, нет свойства аддитивности, т.к. вероятности двух и более событий перемножаются). Клод Шеннон в 1948 г. ввел логарифмическую меру количества информации.

(2.1)

При этом количество информации, содержащееся в сложном сообщении, представляющем совокупность событий x_i и x_j будет

. (2.2)

Свойства меры Шеннона:

1. Логарифмическая мера обладает свойствами аддитивности.

2. В случае события с одним исходом, детерминированные, т.е. определенные сообщения I(x) = 0.

3. Величина информации растет с ростом неожиданности исхода (т.к. обратно пропорциональна вероятности события).

4. Значение информации ³0 (положительна).

Рассматриваемые свойства относятся к дискретной системе. Так как информация случайна, то нужна средняя мера оценки информации (среднее на одно сообщение).

I(x) = M[1][-log_a(P(x_i)] = . (2.3)

В основе количества информации лежит априорная неопределенность сообщения, поэтому полученное выражение называют еще "энтропией" (термин заимствован из термодинамики, где аналогичное выражение характеризует среднюю неопределенность состояния системы молекул вещества).

Несмотря на совпадение выражений для I(x) и H(x) энтропия и количество информации принципиально различны. Информация рассматривается в связи со своей противоположностью – энтропией.

Энтропия определяет среднюю неопределенность источника (возможный объем информации у источника), информация связывается у нас с получением сообщения.

Единица измерения информации зависит от выбора основания log_а

log₂ – binary digit = бит (двоичная единица). В основном используется бит.

log₁₀ – decimal digit = дит.

log_e – natural digit = нат.

Свойства энтропии:

1. H – вещественна, положительна, >0, ограничена т.к. P()<1.

2. H = 0 для детерминированных сообщений (из определения).

3. H – max, если все события равновероятны.

Для доказательства воспользуемся методом неопределенного множителя Лагранжа (l).

Составим вспомогательную функцию:

.

Так как , то на такую величину можно умножить λ:

.

Необходимо найти max значение F_i по переменной P(x)_i, для этого продифференцируем и приравняем = 0:

Для нахождения максимального значения найдем экстремум функции:

¶F_i/¶ Р(х_i) = 0

log₂ Р(х_i) = -log₂ℓ - λ = const (i =1, 2, 3, …, n)

откуда

Р(х_i) = const = 1/n

Что и требовалось доказать (не зависят от номера i), что только тогда, когда все Р(х_i) одинаковы 1/n.

Максимальное значение энтропии

. (2.4)

4. Энтропия бинарной системы (2-х альтернативной) изменяется
от 0 до 1.

Р(х₁) + Р(х₂) = 1.

Н(х) = -Р(х₁)log₂Р(х₁) - Р(х₂)log₂Р(х₂) = -Р(х₁)log₂Р(х₁) - [1-Р(х₁)]log₂[1-Р(х₁)].

Если Р(х₁) = 0, Р(х₂) = 1 Н(х) = 0

Р(х₁) = 1, Р(х₂) = 0 Н(х) = 0.

Максимум будет, если Р(х₁) = Р(х₂) = 0,5.

Н(х) = -log₂(1/2) = 1 дв. ед.

Рис. 2.1

Литература:

[1] стр. 8, 128-11. [2] стр. 224-227. [3] стр. 101-105.

Контрольные вопросы:

1. В чем недостатки меры информации по Хартли?

2. Чему равна энтропия системы, если ее состояние неизвестно?

3. При каком распределении вероятностей системы ее энтропия достигает максимума?

4. Может ли быть энтропия отрицательной величиной?

5. Чему равна энтропия бинарной системы при равновероятных состояниях элементов системы?