В-3 Количество информации. Методы оценки

Для того чтобы оценить и измерить количество информации в соответствии с вышеизложенными аспектами, применяются различные подходы. Среди них выделяются статистический, семантический, прагматический и структурный. Исторически наибольшее развитие получил статистический подход.

Статистический подход изучается в разделе кибернетики, называемом теорией информации. Его основоположником считается К. Шеннон, опубликовавший в 1948 г. свою математическую теорию связи. Большой вклад в теорию информации до него внесли ученые Найквист и Хартли. В 1924 и 1928 гг. они опубликовали работы по теории телеграфии и передаче информации.

Признаны во всем мире исследования по теории информации российских ученых А.Н. Колмогорова, А.Я. Хинчина, В.А. Котельникова, А.А. Харкевича и др.

К. Шенноном было введено понятие количество информации как меры неопределенности состояния системы, снимаемой при получении информации. Количественно выраженная неопределенность состояния получила название энтропии по аналогии с подобным понятием в статистической механике. При получении информации уменьшается неопределенность, т. е. энтропия, системы. Очевидно, что чем больше информации получает наблюдатель, тем больше снимается неопределенность, и энтропия системы уменьшается. При энтропии, равной нулю, о системе имеется полная информация, и наблюдателю она представляется целиком упорядоченной.

Таким образом, получение информации связано с изменением степени неосведомленности получателя о состоянии этой системы.

До получения информации ее получатель мог иметь некоторые предварительные (априорные) сведения о системе X. Оставшаяся неосведомленность и является для него мерой неопределенности состояния (энтропией) системы. Обозначим априорную энтропию системы X через Н(Х). После получения некоторого сообщения наблюдатель приобрел дополнительную информацию I(Х), уменьшившую его начальную неосведомленность так, что апостериорная (после получения информации) неопределенность состояния системы стала Н’(Х).

Тогда количество информации может быть определено как

Другими словами, количество информации измеряется уменьшением (изменением) неопределенности состояния системы.

Если апостериорная энтропия системы обратится в нуль, то первоначально неполное знание заменится полным знанием и количество информации, полученной в этом случае наблюдателем, будет таково:

т.е. энтропия системы может рассматриваться как мера недостающей информации.

Если система X обладает дискретными состояниями (т.е. переходит из состояния в состояние скачком), их количество равно N, а вероятность нахождения системы в каждом из состояний Р, то согласно теореме Шеннона энтропия системы Н(Х) равна:

Здесь коэффициент К₀ и основание логарифма а определяют систему единиц измерения количества информации. Логарифмическая мера информации была предложена Хартли для представления технических параметров систем связи как более удобная и более близкая к восприятию человеком, привыкшим к линейным сравнениям с принятыми эталонами. Например, каждый чувствует, что две однотипные дискеты должны обладать вдвое большей емкостью, чем одна, а два идентичных канала связи должны иметь удвоенную пропускную способность.

Знак «минус» перед коэффициентом К₀ поставлен для того, чтобы значение энтропии было положительным, так как P_i < 1 и логарифм в этом случае отрицательный.

Если все состояния системы равновероятны, то энтропия рассчитывается по формуле

Энтропия Н обладает рядом свойств; укажем два из них:

1) Н = 0 только тогда, когда все вероятности P_i,кроме одной, равны нулю, а эта единственная вероятность равна единице.

Таким образом, Н = 0 только в случае полной определенности состояния системы;

2) при заданном числе состояний системы N величина Н максимальна и равна когда все P_i равны.

Определим единицы измерения количества информации с помощью выражения для энтропии системы с равновероятными состояниями.

Пусть система имеет два равновероятных состояния, т.е. N = 2. Будем считать, что снятие неопределенности о состоянии такой системы дает одну единицу информации, так как при полном снятии неопределенности энтропия количественно равна информации Н = I. Тогда

Очевидно, что правая часть равенства будет тождественно равна единице информации, если принять К₀ = 1 и основание логарифма а = 2. В общем случае при N равновероятных состояний количество информации будет такова:

Эта формула получила название формулы Хартли и показывает, что количество информации, необходимое для снятия неопределенности о системе с равновероятными состояниями, зависит лишь от количества этих состояний.

Информация о состояниях системы передается получателю в виде сообщений, которые могут быть представлены в различной синтаксической форме, например в виде кодовых комбинаций, использующих т различных символов и п разрядов, в каждом из которых может находиться любой из символов. Если код не избыточен, то каждая кодовая комбинация отображает одно из состояний системы. Количество кодовых комбинаций будет

Подставив это выражение в формулу для I, получим:

Если код двоичный, т.е. используется лишь два символа (0 и 1), то количество информации в сообщении в этом случае составит п двоичных единиц. Эти единицы называют битами (от англ. Binary digit (bit) – двоичная цифра).

Следует еще раз отметить, что статистический подход к количественной оценке информации был рассмотрен для дискретных систем, случайным образом переходящих из состояния в состояние, и, следовательно, сообщение об этих состояниях также возникает случайным образом. Кроме того, статистический метод определения количества информации практически не учитывает семантического и прагматического аспектов информации.

Семантический подход определения количества информации является наиболее трудно формализуемым и до сих пор окончательно не определившимся.

Наибольшее признание для измерения смыслового содержания информации получила тезаурусная мера, предложенная Ю.И. Шнейдером. Идеи тезаурусного метода были сформулированы еще основоположником кибернетики Н. Винером. Для понимания и использования информации ее получатель должен обладать определенным запасом знаний.

Если индивидуальный тезаурус потребителя S_П отражает его знания о данном предмете, то количество смысловой информации, содержащееся в некотором сообщении, можно оценить степенью изменения этого тезауруса, произошедшего под воздействием данного сообщения. Очевидно, что количество информации I_с нелинейно зависит от состояния индивидуального тезауруса пользователя, и хотя смысловое содержание сообщения S_П постоянно, пользователи, имеющие различные тезаурусы, будут получать неодинаковое количество информации. В самом деле, если индивидуальный тезаурус получателя информации близок к нулю (S_П ~ 0), то в этом случае и количество воспринятой информации равно нулю: I_с = 0.

Иными словами, получатель не понимает принятого сообщения и, как следствие, для него количество воспринятой информации равно нулю. Такая ситуация эквивалентна прослушиванию сообщения на неизвестном иностранном языке. Несомненно, сообщение не лишено смысла, однако оно непонятно, а значит, не имеет информативности.

Количество семантической информации I_с в сообщении также будет равно нулю, если пользователь информации абсолютно все знает о предмете, т.е. его тезаурус S_П и сообщение не дают ему ничего нового.

Интуитивно мы чувствуем, что между этими полярными значениями тезауруса пользователя существует некоторое оптимальное значение S_Попт при котором количество информации I_с, извлекаемое из сообщения, становится для получателя максимальным. Эта функция зависимости количества информации I_с от состояния индивидуального тезауруса пользователя S_П приведена на рис. 1.4.

Рисунок 1.4 - Кривая функции I_c=f(S_П)

Тезаурусный метод подтверждает тезис о том, что информация обладает свойством относительности и имеет, таким образом, относительную, субъективную ценность. Для того чтобы объективно оценивать научную информацию, появилось понятие общечеловеческого тезауруса, степень изменения которого и определяла бы значительность получаемых человечеством новых знаний.

Прагматический подход определяет количество информации как меры, способствующей достижению поставленной цели. Одной из первых работ, реализующей этот подход, явилась статья А.А. Харкевича. В ней он предлагал принять за меру ценности информации количество информации, необходимое для достижения поставленной цели. Этот подход базируется на статистической теории Шеннона и рассматривает количество информации как приращение вероятности достижения цели. Так, если принять вероятность достижения цели до получения информации равной Р₀,а после ее получения Р₁, прагматическое количество информации I_П определяется как

Если основание логарифма сделать равным двум, то I_П будет измеряться в битах, как и при статистическом подходе.

При оценке количества информации в семантическом и прагматическом аспектах необходимо учитывать и временную зависимость информации. Дело в том, что информация, особенно в системах управления экономическими объектами, имеет свойство стареть, т.е. ее ценность со временем падает, и важно использовать ее в момент наибольшей ценности.

Структурный подход связан с проблемами хранения, реорганизации и извлечения информации и по мере увеличения объемов накапливаемой в компьютерах информации приобретает все большее значение.

При структурном подходе абстрагируются от субъективности, относительной ценности информации и рассматривают логические и физические структуры организации информации. С изобретением компьютеров появилась возможность хранить на машинных носителях громадные объемы информации. Но для ее эффективного использования необходимо определить такие структуры организации информации, чтобы существовала возможность быстрого поиска, извлечения, записи, модификации информационной базы.

При машинном хранении структурной единицей информации является один байт, содержащий восемь бит (двоичных единиц информации). Менее определенной, но также переводимой в байты является неделимая единица экономической информации – реквизит.

Реквизиты объединяются в показатели, показатели – в записи, записи – в массивы, из массивов создаются комплексы массивов, а из комплексов – информационные базы. Структурная теория позволяет на логическом уровне определить оптимальную структуру информационной базы, которая затем с помощью определенных средств реализуется на физическом уровне – уровне технических устройств хранения информации. От выбранной структуры хранения зависит такой важный параметр, как время доступа к данным, т.е. структура влияет на время записи и считывания информации, а значит, и на время создания и реорганизации информационной базы.

Информационная база совместно с системой управления базой данных (СУБД) формирует автоматизированный банк данных.

Значение структурной теории информации растет при переходе от банков данных к банкам знаний, в которых информация подвергается еще более высокой степени структуризации.

После преобразования информации в машинную форму ее аналитический и прагматический аспекты как бы уходят в тень, и дальнейшая обработка информации происходит по «машинным законам», одинаковым для информации любого смыслового содержания. Информация в машинном виде, т. е. в форме электрических, магнитных и тому подобных сигналов и состояний, носит название данных. Для того чтобы понять их смысловое содержание, необходимо данные снова преобразовать в информацию (рис. 1.5).

Рисунок 1.5 - Схема преобразования «информация – данные»

Преобразования «информация – данные» производятся в устройствах ввода-вывода ЭВМ.