Предмет и задачи теории информации

Само понятие информации носит фундаментальный характер и её полное определение не может быть построено как следствие сущест­вующих понятий.

Для практических целей под информацией будем по­нимать сведения, которыми интересуется получатель. Когда говорят об информации, то имеют в виду как объективные сведения о событи­ях в материальном мире, так и получателя этих сведений, то есть субъекта. Поэтому информация включает в себя объективные и субъ­ективные стороны.

Наличие субъективной стороны приводит к тому, что наряду с информацией, объективно отражающей явления в материальном мире, существует дезинформация, дающая получателю ложные сведения.

Информация включает в себя как количественную, так и качест­венную стороны. Определить количество информации и передать его с наименьшими потерями по каналам связи, не интересуясь смыслом информации, – это предмет теории информации, которую иногда называют математической теорией связи. Качественная сторона ин­формации, например её ценность, полезность, важность, исследуется в семантической теории информации. В дальнейшем в настоящих лек­циях будем интересоваться только той частью теории информации, которая рассматривает количественную сторону информации.

Будем пользоваться, как и раньше, такими понятиями, как сооб­щение и сигнал.

Сообщение – это информация, выраженная в определённой форме и предназначенная для передачи от источника к получателю информации. Сообщения бывают дискретными и непрерывными. Дис­кретное сообщение фиксирует информацию с помощью набора дискретных символов, например букв или последовательности им­пульсов. Под понятие дискретного сообщения подходит газетный текст, телеграмма с набитыми символами азбуки Морзе, перфокарта для программы при работе на ЭВМ. Непрерывное сообщение фиксирует информацию с помощью непрерывного изменения какой-либо физической величины, например тока или напряжения. Под понятие непрерывного сообщения подходит изменение тока микрофона под вли­янием слов говорящего, непрерывные управляющие колебания, с помо­щью которых осуществляется модуляция какого-либо процесса.

Сигналом в радиотехнике называют электрический (элек­тромагнитный) процесс, который распространяется в пространстве и у которого изменяются один или несколько параметров по закону сообщения. Сигнал является переносчиком информации. Отличие сиг­нала от сообщения весьма условно. Сигнал это видоизменённое сообщение, пригодное для передачи на расстояние. В радиотехнике обычно сообщение это низкочастотное, а сигнал это высокочас­тотное колебание. Если же идет обработка информации без необходи­мости её передачи по радиоканалу, например в управляющих систе­мах или ЭВМ, то понятия сообщения и сигнала совпадают. Такое сов­падение нами уже использовалось, например при рассмотрении филь­тра Калмана.

Канал с в я з и – это совокупность технических средств, обеспечивающих передачу сообщений от источника к получателю. Ко­дирующее устройство переводит сообщение в последовательность символов канала. В передающем устройстве эти символы преобразуются в сигналы канала. Линия связи представляет собой среду, в которой распространяются сигналы от передатчика к приёмнику. Линия связи подвержена воздействию помех. Шумы приёмника пересчи­тываются на его вход, так что можно считать, что шумы действуют вместе с помехой в линии связи. Приёмник выделяет сигналы, кото­рые затем декодирующим устройством переводятся в сообщения, удоб­ные для извлечения информации получателем. Модулятор и демодуля­тор являются частными примерами кодирующего и декодирующего устройств.

Основными задачами теории информации являются:

1. Определение количества информации, заключённого в сообщениях;

2. Разработка таких методов кодирования, при которых получаются сигналы, наиболее помехоустойчивые к действию помех в линии свя­зи;

3. Определение предельных границ уплотнения канала связи с целью обеспечения передачи наибольшего количества информации в единицу времени;

4. Оценка информационных потерь в канале связи путем сравнения количества информации у получателя с количеством информации на выходе источника сообщений.

Возникновение теории информации связывают с именем американ­ского учёного К. Шеннона, опубликовавшего статью «Математическая теория связи» в 1949 году. Существенный вклад в развитие вопроса передачи информации в каналах связи с использованием непрерывных сообщений сделал русский учёный академик Колмогоров в 1956 году.