Формальное представление знаний. Виды информации.

Теория информации рассматривается как существенная часть кибернетики.

Кибернетика - это наука об общих законах получения, хранения, передачи и переработки информации. Ее основной предмет исследования - это так называемые кибернетические системы, рассматриваемые абстрактно, вне зависимости от их материальной природы. Примеры кибернетических систем: автоматические регуляторы в технике, ЭВМ, мозг человека или животных, биологическая популяция, социум. Часто кибернетику связывают с методами искусственного интеллекта, т.к. она разрабатывает общие принципы создания систем управления и систем для автоматизации умственного труда. Основными разделами (они фактически абсолютно самостоятельны и независимы) современной кибернетики считаются: теория информации, теория алгоритмов, теория автоматов, исследование операций, теория оптимального управления и теория распознавания образов.

Родоначальниками кибернетики (датой ее рождения считается 1948 год, год соответствующей публикации) считаются американские ученые Норберт Винер (Wiener, он - прежде всего) и Клод Шеннон (Shannon, он же основоположник теории информации).

Винер ввел основную категорию кибернетики - управление (основная категория кибернетики), показал существенные отличия этой категории от других, например, энергии, описал несколько задач, типичных для кибернетики, и привлек всеобщее внимание к особой роли вычислительных машин, считая их индикатором наступления новой НТР. Выделение категории управления позволило Винеру воспользоваться понятием информации, положив в основу кибернетики изучение законов передачи и преобразования информации.

Сущность принципа управления заключается в том, что движение и действие больших масс или передача и преобразование больших количеств энергии направляется и контролируется при помощи небольших количеств энергии, несущих информацию. Этот принцип управления лежит в основе организации и действия любых управляемых систем: автоматических устройств, живых организмов и т.п. Подобно тому, как введение понятия энергии позволило рассматривать все явления природы с единой точки зрения и отбросило целый ряд ложных теорий, так и введение понятия информации позволяет подойти с единой точки зрения к изучению самых различных процессов взаимодействия в природе.

В СССР значительный вклад в развитие кибернетики внесли академики Берг А.И. и Глушков В.М. В нашей стране в 50-е годы кибернетика была объявлена лженаукой и была практически запрещена, что не мешало, однако, развиваться всем ее важным разделам (в том числе и теории информации) вне связи с обобщающим словом «кибернетика». Это было связано с тем, что сама по себе кибернетика представляет собой род философии, в кое-чем конфликтной с тогдашней официальной доктриной (марксистско-ленинской диалектикой).

Теория информации тесно связана с такими разделами математики как теория вероятностей и математическая статистика, а также прикладная алгебра, которые предоставляют для нее математический фундамент. С другой стороны теория информации исторически и практически представляет собой математический фундамент теории связи. Часто теорию информации вообще рассматривают как одну из ветвей теории вероятностей или как часть теории связи. Таким образом, предмет «Теория информации» весьма узок, т.к. зажат между «чистой» математикой и прикладными (техническими) аспектами теории связи.

Теория информации представляет собой математическую теорию, посвященную измерению информации, ее потока, «размеров» канала связи и т.п., особенно «применительно к радио, телеграфии, телевидению и к другим средствам связи. Первоначально теория была посвящена каналу связи, определяемому длиной волны и частотой, реализация которого была связана с колебаниями воздуха или электромагнитным излучением. Обычно соответствующий процесс был непрерывным, но мог быть и дискретным, когда информация кодировалась, а затем декодировалась. Кроме того, теория информации изучает методы построения кодов, обладающих полезными свойствами.

Тема 1.1.1 Информация, канал связи, шум, кодирование.

Термин «Информация» относится к числу наиболее часто употребляемых. Он широко используется в лингвистике, психологии, биологии и других науках. Однако в разных областях знаний в него вкладывают разный смысл. Разнообразие информационных процессов и широкий интерес к ним в разных областях знаний породили много толкований определений понятия “информация”, а также определений количества информации. Условно все подходы к определению количества информации можно разделить на пять видов:

1) энтропийный;

2) алгоритмический;

3) комбинаторный;

4) семантический;

5) прагматический.

Первые три вида дают количественное определение сложности описываемого объекта или явления. Четвертый – описывает содержательность и новизну передаваемого сообщения для получателя (пользователя) сообщения. Наконец, пятый вид обращает внимание на полезность полученного сообщения для пользователя.

Термин «информация» происходит от латинского слова «informatio», что означает «разъяснения», и, по сути, предполагает наличие некоторого диалога между отправителями и получателями информации. Следовательно, информационное взаимодействие можно представить пятикомпонентной (пятимерной векторной) величиной, состоящей из компонент:

1) физической;

2) сигнальной;

3) лингвистической;

4) семантической;

5) прагматической.

Заметим, что приведенное разбиение информационного взаимодействия на пять компонентов носит условный характер и возможно частичное пересечение в этом разбиении. Так, отдельные составляющие передаваемого сообщения можно отнести к физической или сигнальной, сигнальной или лингвистической компонентам. Например, рассмотрим процесс передачи информации на примере устной речи. Процесс этот многокомпонентный (векторный). Первая компонента – физическая, т.е. для успешного осуществления процесса передачи информации необходимо наличие источника акустического сигнала (голосовых связок человека), среды для распространения акустических колебаний и приемника колебаний (уха). Вторая компонента – сигнальная: амплитудно и частотно модулированные акустические колебания. Третья компонента – синтаксическая; необходимо, чтобы собеседники знали хотя бы один общий язык. Четвертая компонента – семантическая, т.е. в передаваемом сообщении должно присутствовать содержательное описание объекта или явления, неизвестное получателю информации. Наконец, пятая компонента – прагматическая: необходимо наличие желания (мотивации) передавать и принимать сообщение. На сложный, многокомпонентный характер информации указывал еще А.Н. Колмогоров [5]: «Подчеркну и качественно новое и неожиданное, что содержится в теории информации. По первоначальному замыслу «информация» не есть скалярная величина. Различные виды информации могут быть чрезвычайно разнообразны было совершенно неясно, можно ли качественно различные информации считать эквивалентными». Один из центральных вопросов, по которому существуют разные точки зрения, состоит в следующем: информация это свойство объекта или результат взаимодействия. Мы будем придерживаться точки зрения А.Н. Колмогорова: информация существует независимо от того, воспринимается она или нет, но проявляется только при взаимодействии. Информация – это характеристика внутренней организованности материальной системы по множеству состояний, которые она может принимать. Приведем пример. По срезу дерева, опытный специалист может дать заключение относительно его возраста, эволюции климатических условий, в которых развивалось дерево, и др., однако получить эту информацию он сможет лишь в результате анализа конкретного среза дерева. Другими словами, информация объективно существует независимо от нашего сознания, но выявляется при взаимодействии с конкретным объектом.

Факт объективного существования информации независимо от нашего сознания для некоторых исследователей послужил поводом для пропаганды весьма неординарной точки зрения, что информация является третьей (наряду сматерией и энергией) субстанцией материального мира. Эта точка зрения наиболее уязвима, поскольку для информации пока не сформулированы фундаментальные законы сохранения и перехода в эквивалентных количествах в материю и/или энергию. Например, при сжигании дерева информация о нем, если она не была установлена и сохранена ранее, безвозвратно теряется. Тем не менее, следует подчеркнуть, что информация всегда проявляется в материально - энергетической форме в виде сигналов, хотя это не материя и не энергия, которые переходят друг в друга. Информация может исчезать и появляться.

В настоящем пособии термин «Информация» понимается в узком смысле, принятом при описании так называемых информационных систем. К ним относятся телекоммуникационные и вычислительные сети, автоматизированные системы управления и контроля и т.п. В данном случае понятие количества информации, определяется как частота употребления знаков. Количество информации в указанном смысле не отражает ни семантики, ни прагматической ценности информации.

Информационные системы – это класс технических систем, предназначенных для хранения, передачи и преобразования информации. Соответственно информация – это сведения, являющиеся объектом хранения, передачи и преобразования, а теория информации – раздел кибернетики, занимающийся математическим описанием методов передачи, хранения, извлечения (обработки) и классификации информации. Заметим, что сама информация, как правило, используется для осуществления каких-либо управляющих воздействий.

Таким образом, предметом нашего рассмотрения является теория информации в классическом смысле – решение теоретических вопросов, касающихся повышения эффективности и функционирования информационных систем, в частности, систем связи. Она включает в себя:

1) анализ сигналов, как средства передачи информации;

2) анализ информационных характеристик источников сообщения и каналов связи;

3) теорию кодирования;

4) методы приема и обработки информации.

Каждый из указанных разделов может быть (и, как правило, является) предметом самостоятельного глубокого изучения в соответствующих дисциплинах различных специальностей информационного направления. В настоящем курсе мы стремились акцентировать внимание на наиболее общих фундаментальных законах, имеющих существенное значение для восприятия указанных разделов как единого целого. На наш взгляд, таким общим фундаментом являются теоремы К. Шеннона о кодировании и информационная теория оценивания, большой вклад в развитие которой внес Я.З. Цыпкин.