Методы теории информации

Теорией информации, как уже отмечалось, называется наука, изучающая количественные закономерности, связанные с получением, передачей, обработкой и хранением информации.

Информация, для того чтобы быть переданной, должна быть закодирована в виде сигналов, с помощью которых информация передается по различным каналам связи. Это привело к необходимости решения задачи повышения эффективности функционирования систем связи. Сложность при проектировании и эксплуатации средств, систем и каналов связи состоит в том, что недостаточно решить задачу с физических и энергетических позиций. С этой точки зрения системы могут быть самыми совершенными и экономичными. Важно кроме этого оценить, какое количество информации может пройти через передающую систему. Результатом явилась необходимость подсчитать, измерить информацию количественно.

В теории информации при вычислении количества информации абстрагируются от смысла информации. Такой подход в точности соответствует задаче канала связи, который должен передать информацию вне зависимости от ее ценности для адресата.

Любое сообщение, с которым мы имеем дело в теории информации, представляет совокупность сведений о некоторой физической системе. Например, на вход системы правоохранительных органов поступает сообщение о количестве и видах совершенных преступлений.

Оценка количества информации основывается на законах теории вероятностей и определяется через вероятность событий. Сообщение имеет ценность только тогда, когда мы узнаем из него об исходе события, имеющего случайный характер, то есть исход события заранее не известен. Чем больше интересующее нас событие имеет случайных исходов, тем ценнее сообщение о его результате, тем больше информации содержит данное сообщение. Очевидно, если бы состояние системы было известно заранее, не было бы смысла передавать сообщение.

Поэтому в качестве объекта в теории информации рассматривается некоторая физическая система Х, которая случайным образом может оказаться в том или ином состоянии, то есть система, которой заведомо присуща некоторая степень неопределенности. Очевидно, чем большая неопределенность присуща системе, тем ценнее полученные сведения.

Что значит "большая" или "меньшая" неопределенность?

Сравним две системы: кость и монету. Неопределенность первой системы больше, так как больше состояний, в которых она может оказаться.

Однако степень неопределенности определяется не только числом состояний системы.

Устройство работает в 99% случаев и не работает в 1%. Имеет два состояния, как и монета, но вероятность состояния предсказать гораздо легче: с большой степенью уверенности мы можем сказать, что устройство работать будет.

Таким образом, степень неопределенности физической системы определяется не только числом ее возможных состояний, но и вероятностями состояний.

В общем случае некоторая физическая система Х может принимать какое-то конечное число состояний:

х1, х2, х3,..., хn

с вероятностями

p1, p2, p3,..., pn,

где pi = P(Х ~ хi), вероятность того, что система Х примет состояние

хi, то есть Х ~ хi.

Очевидно, что

сумма (от i = 1 до n) Pi = 1

В качестве меры априорной неопределенности системы в теории информации применяется специальная характеристика, называемая энтропией.

Энтропией системы называется сумма произведений вероятностей различных состояний системы на логарифмы этих вероятностей, взятая с обратным знаком:

H(X)= - сумма (от i=1 до n) pi log2 pi

Энтропия обладает рядом свойств, оправдывающих ее выбор в качестве характеристики степени неопределенности. Во-первых, она превращается в ноль, когда одно из состояний достоверно, а другие - невозможны. Во-вторых, при заданном числе состояний она превращается в максимум, когда данные состояния равновероятны, а при увеличении числа состояний - увеличивается. Наконец, и это самое главное, она обладает свойством аддитивности, то есть когда несколько независимых систем объединяются в одну, их энтропии складываются.

Таким образом, в правовой реальности энтропия рассматривается в качестве меры неопределенности состояния всякой правовой системы. Становится ясно, что в процессе получения сведений неопределенность правовой системы может быть уменьшена; чем больше объем полученных сведений, чем они более содержательны, тем больше будет информации о рассматриваемой системе правового управления, тем менее неопределенным будет ее состояние. Естественно, поэтому количество информации измерять уменьшением энтропии той системы, для уточнения состояний которой предназначены сведения.

Рассмотрим некоторую систему Х, над которой производятся наблюдения, и оценим информацию, получаемую в результате того, что состояние системы Х становится полностью известным. До получения сведений (априори) энтропия системы была Н(Х); после получения сведений состояние системы полностью определилось, то есть энтропия стала равной нулю. Обозначим IX информацию, полученную в результате выяснения состояний системы Х. Она равна уменьшению энтропии:

IX = Н(Х) - 0 или IX = Н(Х),

то есть количество информации, приобретаемое при полном выяснении

состояний некой физической системы, равно энтропии этой системы.

Используя формулу для энтропии, получим следующее представление для количества информации:

Ix = - сумма (от i=1 до n) pi log2 pi

Если информация выражена в двоичных единицах, то ей можно дать довольно наглядное истолкование: измеряя информацию в двоичных единицах, мы условно характеризуем ее числом ответов "да" и "нет", с помощью которых можно приобрести ту же информацию.

Пример. Некто задумал любое целое число Х от 1 до 8:

1 <= Х <= 8,

а нам предлагается угадать его, поставив минимальное количество вопросов, на каждый из которых дается ответ "да" или "нет".

Определим информацию, заключенную в сообщении, какое число задумано. Априори все значения Х одинаково вероятны:

р1 = р2=...= р8 = 1/8.

Тогда IX = log2 8 = 3.

Минимальное число вопросов, которые нужно поставить для выяснения задуманного числа, не меньше трех.

Пусть, например, задумано число "два".

Вопрос 1. Число Х меньше пяти?

Ответ. Да.

Вывод: Х - одно из чисел 1, 2, 3, 4.

Вопрос 2. Число Х меньше трех?

Ответ. Да.

Вывод: Х - одно из чисел 1, 2.

Вопрос. Число Х меньше двух?

Ответ. Нет.

Вывод: Х равно 2.

Использование современных информационных технологий и вычислительных средств позволяет рассчитать количество информации в существенно более сложных сообщениях и тем самым оптимизировать информационные процессы, протекающие в социально-правовых системах.

Контрольные вопросы

1. Перечислите основные методы правовой информатики.

2. Раскройте содержание системного подхода, лежащего в основе большинства методов познания.

3. В чем суть социально-правового моделирования?

4. Какова роль социально-правового моделирования в юридических научных исследованиях?

5. Определите этапы процесса социально-правового моделирования.

6. Охарактеризуйте содержание кибернетического метода.

7. В чем заключается метод формализации?

8. Определите понятие "алгоритм".

9. В чем суть метода алгоритмизации и программирования?

10. Раскройте содержание семантического и синтаксического анализа.

11. Какова роль математических методов при изучении информационных процессов и систем в правовой сфере?

12. Охарактеризуйте метод теории информации.

Рекомендуемая литература:

1. Андреев Б.В. Правовая информатика. М.: ИМП, 1998.

2. Гаврилов О.А. Интеллектуальные системы и технологии в правовой сфере//НТИ. Сер. 1, 1993, N 11.

3. Гаврилов О.А. Курс правовой информатики: Учебник для вузов. М.: НОРМА, 2000.

4. Информатика для юристов и экономистов/Под ред. С.В. Симоновича. СПб.: Питер, 2002.

5. Право и информатика. М.: Изд-во Московского университета, 1990.

6. Рассолов М.М., Элькин В.Д., Рассолов И.М. Правовая информатика и управление в сфере предпринимательства. М.: Юристъ, 1996.

7. Богатов Д.Ф., Богатов Ф.Г., Минаев В.А. Информатика и математика для юристов: Учебное пособие/Под ред. В.А. Минаева. М.: Изд-во ПРИОР, МЮИ МВД Россия, 1998, с. 179.