Количественные и качественные характеристики информации

В процессе отражения между состояниями взаимодействующих объектов возникает определенная связь. Информация как результат отражения одного объекта другим выявляет степень соответствия их состояний, а поэтому важными оказываются именно количественные характеристики информации. Некоторое количество информации можно рассматривать с трех основных точек зрения:

· с поведенческой точки зрения создание порции информации осуществляется по некоторой причине, а получение этой информации может привести к некоторому результату (наблюдаемому действию или мыслительной операции);

· с математико-лингвистической точки зрения порция информации может быть описана путем соотнесения ее с другой информацией, указания ее смысла и структуры;

· с физико-технической точки зрения рассматриваются физические аспекты проявления информации — ее материальный носитель, разрешающая способность и точность, с которыми она фиксируется, количество информации, которое производится, передается или принимается и т.д.

Возможен ряд подходов к оценке качества информации. Наиболее существенными из них являются статистический, семантический и прагматический. Наибольшее развитие получил первый подход.

Статистический подход представлен в обширном разделе кибернетики — теории информации, которая занимается математическим описанием и оценкой методов передачи, хранения, извлечения и классификации информации. Теория информации в математической основе использует методы теории вероятности, математической статистики, линейной алгебры и др. В статистической теории основное внимание обращается на распределение вероятности появления отдельных событий и построение на его основе обобщенных характеристик, позволяющих оценить количество информации в одном событии либо в их совокупности. Количественной мерой информации стала энтропия. Чтобы возник процесс передачи, должны иметь место источник информации и потребитель. Источник выдает сообщение, потребитель, принимая сообщение, принимает при этом информацию о состоянии источника. В статистической теории, как указывалось выше, не изучают содержание информации. Предполагается, что до получения информации имела место некоторая неопределенность. С получением информации эта неопределенность снимается. Таким образом, статистическая количественная характеристика информации — это мера снимаемой в процессе получения информации неопределенности системы. Естественно, что количество информации зависит от закона распределения состояний системы.

Семантический подход базируется на смысловом содержании информации. Термин «семантика» исторически применялся в металогике и семиотике. В металогике под семантикой понимают изучение связей между знакосочетаниями, входящими в состав какого-либо формализованного языка, и их интерпретациями (истолкованиями) в терминах той системы понятий и представлений, формализацией которой служит данный язык. В более узком смысле под семантикой подразумевают совокупность правил соответствия между формальными выражениями и их интерпретацией. Под семиотикой понимают комплекс научных теорий, изучающих свойства знаковых систем, т.е. систем конкретных или абстрактных объектов, с каждым из которых сопоставлено некоторое значение. Примерами знаковых систем являются естественные языки, а также искусственные языки, такие как алгоритмические языки, языки программирования, информационные языки и др.

Прагматический подход к информации базируется на анализе ее ценности, с точки зрения потребителя. Например, информация, имеющая несомненную ценность для биолога, будет иметь ценность, близкую к нулевой, для программиста. Ценность информации связывают со временем, поскольку с течением времени она стареет и ценность ее, а, следовательно, и «количество» уменьшается. Таким образом, прагматический подход оценивает содержательный аспект информации. Он имеет особое значение при использовании информации для управления, поскольку ее количество тесно связано с эффективностью управления в системе.

Разные подходы к оценке количества информации заставляют, с одной стороны, использовать разнотипные единицы информации для характеристики различных информационных процессов, а с другой стороны — увязывать эти единицы между собой как на логическом, так и на физическом уровнях. Например, процесс передачи информации, измеряемой в одних единицах, сопрягается с процессом хранения, когда она измеряется в других единицах, и т.д., а поэтому выбор единицы информации является весьма актуальной задачей.

Рассмотрим статистическую меру количества информации, получившую наибольшее применение в процессе передачи сообщений.

Чтобы возник процесс передачи, должны существовать источник информации и потребитель. Источник выдает сообщение, потребитель, принимая сообщение, получает при этом информацию о состоянии источника. В статистической теории, как указывалось выше, не изучается содержание информации. Предполагается, что до получения информации имела место некоторая неопределенность. С получением информации эта неопределенность снимается. Таким образом, статистическая количественная характеристика информации — это мера, на основе которой в процессе получения информации снимается неопределенность системы. Естественно, что количество информации зависит от закона распределения состояний системы.

Введем количественную меру информации для простейшего варианта передачи равновероятных сообщений. Пусть источник формирует М сообщений, каждое из которых передается неизбыточным кодом длиной п. Определим число сведений f в некотором сообщении, полагая, что оно линейно зависит от длины кода, т.е. f = kn, где k — коэффициент пропорциональности. Будем считать что выполняются следующие условия: осуществляется передача дискретных сообщений; сообщения являются равновероятными и взаимонезависимыми; символы, выдаваемые источником, взаимонезависимы; система счисления (основание кода) К конечна. Тогда число передаваемых сообщений составляет М = Kⁿ. Учитывая, что f=kn, получаем df= kdn, dM=Kⁿ ln Kdn, dn = dM / kⁿ ln K, df =kdM/M lnk.

Отсюда

f= k ln M/ln K = k₁log_a M/ln K = k₀ log_aM,

где k₀ = k₁/ln K; k₁ =k lna.

За единицу количества информации примем число сведений, которые передаются двумя равновероятными сообщениями. Назовем эту единицу двоичной единицей информации. Тогда для f=1, М =2 получим J = k₀ log_a2. Отсюда а = 2, k₀ = 1 и, следовательно, количество информации в сообщении составит I =log₂M.

Эта формула получила название формулы Хартли. Из нее следует, что для равновероятных дискретных сообщений количество информации зависит лишь от числа передаваемых сообщений.

Если сообщения отображаются неизбыточным кодом, то, подставляя М = Kⁿ, получим I= п log₂ К.

Видно, что число двоичных единиц информации, содержащихся в одном сообщении, прямо пропорционально длине кода п и возрастает с увеличением его основания. Если основание кода К= 2, то количество информации, содержащееся в любом сообщении, передаваемом неизбыточным кодом, составит I = п двоичных единиц или бит. Отсюда видно, что если длина сообщения равна п, то сообщение содержит п бит информации, т.е. один элемент кода несет одну двоичную единицу информации. Информация, содержащаяся в сообщении, складывается из информации, которую несет каждый элемент кода, поэтому мера информации является аддитивной.

Аддитивность статистической меры информации позволяет определить ее количество и в более общем случае, когда передаваемые дискретные сообщения являются неравновероятными. Можно предположить, что количество информации, содержащейся в конкретном дискретном сообщении, функционально зависит от вероятности выбора этого сообщения. Тогда для сообщения x_0j возникающего с вероятностью P (x_0j), количество информации может быть описано в виде 1= φ[P (x_0j)]Пусть вслед за сообщением x_0j, из источника формируется сообщение x_0k. Вероятность последовательного возникновения этих сообщений обозначим Р(x_0j, x_jk). Количество информации, которая будет содержаться в этих сообщениях, оценим как 1 = φ[Р (x_0j, x_0k)]. Учитывая аддитивный характер принятой выше статистической меры информации, будем считать, что количество информации, заключенное в последовательности сообщений x_0j, x_0k,равно сумме количеств информации, содержащихся в каждом из выбранных сообщений. Тогда

φ[Р (x_0j, x_0k)] = φ[Р (x_0j)] + φ[Р (x_0k/x_0j)],

где Р (x_0k/x_0j) — вероятность возникновения сообщения x_0k при условии появления перед ним сообщения x_0j.

Соответственно вероятность возникновения последовательности сообщений x_0j, x_0k составит Р (x_0j, x_0k) = Р (x_0j) [Р (x_0k/x_0j)]. Отсюда

φ[Р (x_0j)] + φ[Р (x_0k/x_0j)] = φ[Р (x_0j)] + φ[Р (x_0k/x_0j)].

Дифференцируя по переменной Р (x_0j), получим

Р (x_0k/x_0j) φ΄[Р (x_0j) Р (x_0k/x_0j)] = φ΄[Р (x_0j)]

Умножим левую и правую части уравнения на вероятность Р (x_0j), тогда

Р (x_0j) Р (x_0k/x_0j) φ΄[Р (x_0j) Р (x_0k/x_0j)] = Р (x_0j) φ΄[Р (x_0j)]

Учитывая, что вероятность Р (x_0j) находится в пределах от 0 до 1, видим, что части уравнения должны представлять собой постоянную величину, т.е. Р (x_0j) φ΄[Р (x_0j)] = k, где k— постоянная величина. Отсюда φ΄[Р (x_0j)] = k/Р (x_0j). Количество информации в j-м сообщении составит

φ[Р (x_0j)] = k lnР(x_0j) + с,

где с — постоянная интегрирования. Для определения с рассмотрим частный случай, когда имеет место передача лишь одного j-го сообщения, т.е. Р(x_0j) = 1. Подставляя Р(x_0j) = 1 в приведенное уравнение, находим, что с = 0, а отсюда

φ[Р (x_0j)] = k lnР(x_0j).

Для определения постоянной k выберем систему единиц. Естественным требованием является то, что количество информации должно быть положительной величиной, тогда, принимая k = 1, получаем

φ[Р (x_0j)] = –ln Р(x_0j).

Тогда в качестве единицы информации можно принять натуральную единицу. Количество информации в одну натуральную единицу (1 нат) равно информации, которая передается в одном сообщении с вероятностью появления 1/е. Как указывалось выше, в статистической теории получила применение двоичная единица информации, что соответствует коэффициенту k = –1/ln 2. Тогда количество информации для неравновероятных сообщений составит

I = φ[Р (x_0j)] = –log2.

При необходимости количество информации в случайно выбранном сообщении нетрудно связать с информативностью символов кода сообщения. Если процесс образования символов описывается цепью Маркова и символы могут принимать К значений, то найти вероятность возникновения сообщения Р (x_0j)можно как произведение вероятностей возникновения символов его кода. Если они выбираются независимо и символ типа j встречается n_j раз, то вероятность возникновения сообщения x_0j, составит

где P(x_j) — вероятность возникновения символа типа j.

При большой длине кода п можно считать, что n_j = nP(x_j), а так как выше установлено, что количество сообщения x_0j составляет I = –log2 Р(x_0j), то, подставляя полученные выше значения вероятности Р(x_0j) найдем количество информации I в виде

Видно, что количество информации прямо пропорционально длине кода п и информативности отдельно взятого символа. Отметим, что максимально возможное количество информации, т.е. максимум записанного выше выражения, получается, если символы равновероятны. Тогда для множества символов К оптимальное равномерное распределение соответствует Р(х_j) = 1/К. В этом случае получим, что I = n log₂К. Для двоичного кода К = 2, I = п, что соответствует количеству информации для неизбыточного кода при равновероятных сообщениях. Введенная количественная статистическая мера информации широко используется в теории информации для оценки количества собственной, условной, взаимной и других видов информации. Рассмотрим это на примере собственной информации.

Под этим будем понимать информацию, которая содержится в данном конкретном сообщении. В соответствии с этим определением количество собственной информации в сообщении х_0j определяется как I(x_0j) = –log₂ Р(x_0j). Количество собственной информации измеряется числом бит информации, содержащихся в сообщении х_0j . Для нее могут быть сформулированы следующие свойства:

1. Собственная информация неотрицательна. Чем меньше вероятность возникновения сообщения, тем больше количество информации, содержащейся в нем. Если сообщение имеет вероятность возникновения, равную единице, то получаемая с ним информация равна нулю, так как заранее известно, что может прийти только это сообщение, и выявление данного сообщения не несет потребителю никакой информации.

2. Собственная информация обладает свойством аддитивности. Для доказательства этого рассмотрим ансамбль из множества сообщений {X, У}. Найдем количество собственной информации для пары сообщений х_0j , у_0i:

I( х_0j , у_0i) = –log₂ Р(x_0j , у_0i).

Если сообщения х_0j , у_0iстатистически независимы, то Р(x_0j, у_0i) = Р(x_0j) Р(у_0i). Количество информации в двух сообщениях составит

I(х_0j , у_0i) = –log₂ Р(x_0j) – log₂ Р(у_0i) = I( х_0j) + I(у_0i)

Таким образом, количество собственной информации в двух независимых сообщениях равно сумме собственных сообщений. Отметим, что она характеризует сообщение, которое возникает случайным образом из источника, а поэтому является случайной величиной и зависит от номера выбранного сообщения.

Рассмотрим понятия и свойства энтропии дискретных систем. Математическое ожидание случайной величины собственной информации называется энтропией. Энтропия рассчитывается на множестве (ансамбле) сообщений X₀ либо на множестве символов X и физически определяет среднее количество собственной информации, которое содержится в элементах множества (либо сообщений, либо символов). Для источника сообщений случайная величина собственной информации принимает значения I(х₀₁), I(х₀₂), …, I(х_0j), …, I(х_0M) cвероятностями P(х₀₁), P(х₀₂), …, P(х_0j), …, P(х_0M) соответственно.

Среднее количество (математическое ожидание) собственной информации, содержащейся в ансамбле сообщений Х₀, т.е. энтропия этого ансамбля, составит

где М — множество сообщений в ансамбле X₀. Содержательно энтропия H(X₀) показывает количество двоичных единиц информации, которая содержится в любом сообщении из множества Х₀.

Следует отметить, что понятие энтропии исторически использовалось для оценки меры неопределенности состояния любой системы. Чем больше энтропия системы, тем больше неопределенность ее состояния и тем большую информацию получаем, когда эта неопределенность снимается. Энтропия как количественная мера информации обладает следующими свойствами [48J:

1. Функция энтропии является непрерывной относительно вероятности возникновения событий и для дискретных событий имеет наибольшее значение при равной вероятности их появления. Если возможно появление лишь одного события, то априорной неопределенности нет, поэтому количество информации и энтропия равны нулю;

2. При равновероятных событиях функция энтропии возрастает с увеличением числа событий в ансамбле, а поэтому для повышения информативности символов необходимо увеличивать основание системы счисления используемого кода;

3. Функция энтропии не зависит от пути выбора событий. Это свойство вытекает из аддитивности статической меры информации и, как следствие, аддитивности функции энтропии;

Теперь перейдем к понятиям «энтропия источника» и «энтропия сообщения». При кодировании важно обеспечить выбор кода, который оптимально согласуется с источником. Это согласование возможно по критерию энтропии источника. Под энтропией источника обычно понимают количество информации, которая в среднем содержится в одном символе кода. Если код имеет основание системы счисления К, то энтропия источника, т.е. среднее количество информации, содержащейся в символе кода, составит

Содержательно энтропия источника показывает, сколько двоичных единиц информации переносится в среднем в одном символе кода. Для повышения информативности источника необходимо стремиться к равновероятности символов. В этом случае для неизбыточного кода в одном символе передается двоичная единица информации. С введением избыточности информативность символа уменьшается, но появляются возможности, связанные с обнаружением и исправлением ошибок, что обеспечивает требуемую помехоустойчивость передачи сообщений. Среднее количество информации, содержащееся в сообщении, называется энтропией сообщения и определяется в виде

Видно, что энтропия сообщения представляет собой математическое ожидание собственной информации, содержащейся в ансамбле сообщений Х₀. Таким образом, энтропия является универсальной статистической характеристикой, позволяющей оценить количество информации, которая содержится в любом ансамбле дискретных событий.

Понятие энтропии применимо и к непрерывным событиям. В системах обработки информации и управления значительная доля информации имеет непрерывный характер и выражается в виде непрерывной функции от времени. В этом случае возникает задача передачи непрерывной информации в виде непрерывных сообщений по каналам связи. Непосредственная передача непрерывных сообщений без преобразования возможна лишь на незначительные расстояния. С увеличением расстояний осуществляют операцию дискретизации информации. Для этого вводят квантование по времени и по уровню. Непрерывная функция передается в виде совокупности мгновенных либо квантовых отсчетов, выбранных с различными интервалами по времени. Оценим количество информации, которая содержится в одном отсчете непрерывной функции, и найдем общее выражение для энтропии непрерывных событий.

Пусть имеет место непрерывная информация, представленная в виде непрерывной функции x(t) сизвестной плотностью распределения вероятностей амплитудных значений W(х). Разобьем область значений функции на K уровней с интервалом квантования x, тогда получим уровни x₁, x₂,..., x_j, ..., х_к. При достижении функцией x(t) некоторого уровня x_j и передаче этого уровня по каналу связи количество передаваемой информации может быть определено с помощью функции энтропии H(x_j), если известна вероятность возникновения отсчета P(x_j). Для нахождения вероятности P(x_j) построим плотность распределения P(x_j) и отметим отсчеты функций x₁, x₂,..., x_j, (рис. 1.3). Вероятность отображена заштрихованной на рис. 1.3 площадью под кривой W(х). Для упрощения расчетов заменим эту площадь другой площадью эквивалентного прямоугольника с основанием x и высотой W(х_j), тогда вероятность P(x_j) = W(х_j) x. Отсюда количество собственной информации, содержащейся в отсчете x_j , составит

Рис. 1.3. Зависимость плотности распределения вероятностей W(х) от уровня амплитуды x

Энтропия отсчета определяет количество информации, которая передается отсчетом функции x_j. С уменьшением шага дискретизации x, т.е. при x → 0, можно найти lim H(x_j), т.е. предварительное значение

Учитывая, что исходная функция x(t) непрерывна и может изменяться в неограниченных пределах, найдем энтропию непрерывного сообщения как сумму энтропии отсчетов в виде

Второе слагаемое содержит член log₂ x, который не рассчитывается, так как с уменьшением x он может стать бесконечно большой величиной. Обычно определяют так называемую дифференциальную или приведенную энтропию в виде

Таким образом, понятие энтропии применимо и для оценки среднего количества информации, которая содержится в непрерывном сообщении. Однако пользоваться выражением энтропии для непрерывных сообщений следует крайне осторожно, учитывая неопределенность второго слагаемого выражения, особенно при малых значениях шага квантования x.

В целом в отношении энтропии непрерывного сообщения можно сделать следующие выводы:

1. Дифференциальная энтропия определяется статистикой отсчетов непрерывной функции. Можно показать, что при постоянной дисперсии отсчетов наибольшее количество информации соответствует непрерывным сообщениям, отсчеты которых распределяются по нормальному закону;

2. Энтропия зависит от амплитуды исходной непрерывной функции х и шага ее квантования x. На практике реализуют системы с равномерным и неравномерным шагом квантования, с передачей отклонения функции от математического ожидания и др. Это позволяет в конкретных условиях повысить скорость передачи информации в непрерывном канале.

Таким образом, статистическая теория позволяет дать плодотворные оценки количества информации для такого важного этапа информационного процесса в системе, как передача. Заложенные еще К. Шенноном принципы количественной оценки на основе функции энтропии сохраняют свою значимость до настоящего времени и являются полезными при определении информативности символов и сообщений и при оценке оптимальности построения кода на основе критериев избыточности.

В современных системах обработки информации и управления существенное место занимает подготовка информации для принятия решения и сам процесс принятия решения в системе. Здесь существенную помощь может оказать семантическая теория, позволяющая понять смысл и содержание информации, выражаемой на естественном языке. С увеличением объема и сложности производства количество информации, необходимое для принятия безошибочного решения, непрерывно возрастает. В этих условиях необходимо осуществлять отбор информации по некоторым критериям, т.е. предоставлять руководителю либо лицу, принимающему решение, своевременную и полезную информацию. С учетом ошибок, которые могут возникать в информации в связи с действиями оператора, отказами технических средств в др., избыточность допускается лишь как средство борьбы с ошибками. В этом смысле можно считать, что избыточность способствует сохранению ценности информации, обеспечивая требуемую верность. В рамках семантического подхода ценность информации можно задать через функцию потерь. Если в процессе подготовки информации исходная величина х отображается через величину у, то минимум потерь можно установить как

где Р(х) — распределение входной величины х; П (х/у) — потери при преобразовании входной величины х в величину у.