Вероятностный и алфавитный подходы к измерению ин­формации. Единицы измерения информации. Скорость передачи информации. Пропускная способность канала связи.

Понятие информации. Виды информационных процес­сов. Поиск и систематизация информации. Хранение ин­формации; выбор способа хранения информации. Пере­дача информации в социальных, биологических и технических системах.

С развитием теории информации, кибернетики, информа­тики как науки понятие «информация»(от латинского infor-matio — сведения, разъяснения), наряду с понятиями «веще­ство», «энергия», «пространство» и «время» легло в основу современной научной картины мира. В то же время однознач­ного определения этого понятия пока не существует.

Все подходы к феномену информации имеют право на су­ществование и исследуются в соответствующих областях на­уки. «В информатике информацию можно рассматривать как продукт взаимодействия данных и методов их обработ­ки, адекватных решаемой задаче».

В учебниках информатики в общем виде информацион­ный процессопределяется как совокупность действий, про­водимых над информацией для получения какого-либо ре­зультата. В настоящее время выделены типовые действия над информацией, общие для различных систем: обработка, передача, хранение.

Процесс обработки информацииможет представлять со­бой:

• Поиск и отборинформации в различных источниках. Поиск информации отнесен к процессу обработки, по­скольку при его осуществлении, независимо от того, осуществляется это вручную или с помощью компью­тера, происходит процесс идентификации имеющейся (найденной) информации с требуемой в соответствии с определенными критериями поиска. По такому же принципу происходит отбор необходимой информа­ции.

• Получение новой информации.При решении задач любой дисциплины человек, обрабатывая имеющиеся исходные данные в соответствии с требуемым результа­том, получает некоторую новую информацию. Интерп­ретация исходных данных может быть у каждого своя, результат по смыслу схожим, но в любом случае полу­чается новая информация.

Получение новой по содержанию информации из исход­ной информации возможно путем как математических вычислений, так и логических рассуждений.

• Структурированиеозначает изменение формы инфор­мации без изменения ее содержания. Если процесс об­работки информации связан с тем, что ее содержание не изменяется, а изменяется только форма представле­ния, то происходит упорядочивание, систематизация, или структурирование информации.

• Кодирование(упаковка) информации. В настоящее время достаточно распространен процесс кодирования, т. е. преобразования информации из одной символьной формы в другую, удобную для ее обработки, хранения или передачи. К этой деятельности можно отнести упа­ковку (архивирование), шифрование с использованием различных алгоритмов.

Процесс передачи информациипредставляет собой со­здание копии информации на расстоянии от исходного мес­та хранения. В процессе передачи информации обязательно участвуют источники приемник информации.Между ними действует канал связи. Впроцессе передачи информация может теряться или искажаться — случайно или намерен­но. На устранение этого могут быть направлены методы за­щиты при передаче информации. Передача информации в социальных, биологических и технических системах с точ­ки зрения информатики осуществляется по общей схеме: источник-канал-приемник. Различие в том, что в таких сис­темах понимают под информацией. «В социальных науках под информацией понимают сведения, данные понятия, от­раженные в нашем сознании и изменяющие наши представ­ления о реальном мире. Эту информацию, передающуюся в человеческом обществе и участвующую в формировании об­щественного сознания, называют социальной информацией. Инженеры, биологи, генетики, психологи отождествляют информацию с теми сигналами, импульсами, кодами, кото­рые наблюдают в технических и биологических системах. Содержание принимаемых и обрабатываемых сигналов ин­женера не интересует» [3], а генетиков и биологов может ин­тересовать.

К процессу хранения информацииможно отнести: • Размещение (накопление).Информация, полученная в результате поиска, размещается на каком-либо носите­ле информации, происходит ее накопление. Процесс, в результате которого информация оказывается на носи­теле в виде, пригодном для последующего извлечения, называется размещением. Таким образом, мы создаем некоторый информационный ресурс.Основное отли­чие информационных ресурсов от других видов ресур­сов состоит в том, что информация после их использо­вания не исчезает. Поэтому важнейшей задачей является создание таких хранилищ информации, кото­рые совмещали бы процессы защиты, структурирова­ния, поиска, извлечения, передачи в автоматическом режиме для увеличения доступности информации.

• Коррекцию.Информация в хранилищах нуждается в коррекции по различным причинам, таким как: меха­нические повреждения или изменения свойств носите­ля, устаревание информации, модернизация структу­ры для оптимизации доступа к информации и пр. С этой целью выполняется процесс коррекции информа­ции.

• Доступ.Организация оптимального доступа к различ­ной по ценности информации с использованием проце­дур защиты от несанкционированного доступа может быть отнесена к процессу хранения.

Понятие о кодировании информации. Выбор способа представления информации в соответствии с поставлен­ной задачей. Универсальность дискретного (цифрового) представления информации. Двоичное кодирование.

Информация никогда не появляется в «чистом виде», она всегда как-то представлена, в каком-либо формализованном (закодированном) виде. Одна и та же информация может быть представлена различными способами. От того, как представлена информация, зависит очень многое, от воз­можной интерпретации до возможности ее технической об­работки. Так что в практических задачах важно выбрать тот способ представления информации, который наиболее удо­бен и адекватен решаемой задаче.

В настоящее время достаточно распространен процесс ко­дирования,т. е. преобразование информации из одной зна­ковой формы в другую, удобную для ее обработки, хранения или передачи. Используемый для кодирования конечный набор знаков называют алфавитом. Кодирование осуществ­ляется по принятым правилам. Правило кодирования назы­вается кодом(от французского code — кодекс, свод зако­нов). Длина кода — количество знаков алфавита, используе­мое для кодирования.

Многие годы человечество работало с информацией, преж­де чем был изобретен компьютер. С появлением компьютера стало возможным автоматизировать процессы обработки, передачи и хранения информации. При кодировании инфор­мации для технических устройств удобно использовать ал­фавиты, состоящие всего из двух знаков. Такие алфавиты называют двоичными. Чем меньше знаков в алфавите, тем проще должна быть устроена «машина» для распознавания (дешифровки) информационного сообщения. Однако чем ме­ньше знаков в алфавите, тем большее их количество требу­ется для кодирования, следовательно, тем больше длина кода. Легко рассчитать количество М элементарных сообще­ний, которые можно закодировать, используя код постоян­ной длины п и алфавит из R знаков: М = Rⁿ. Длину кода рассчитывают по формуле п = [log_RM + 1]. Если мы исполь­зуем двоичный алфавит, то М = 2^п.

При конструировании компьютеров был выбран двоичный алфавит {0, 1}, что позволило использовать достаточно про­стые устройства для представления и автоматического распо­знавания программ и данных. Именно простота сделала этот принцип кодирования таким распространенным. Наряду с этим свойством двоичное кодирование обеспечивает удобство физической реализации, универсальность представления лю­бого вида информации, уменьшение избыточности сообще­ния, обеспечение защиты от случайных искажений или не­желательного доступа. Наиболее распространены кодировки компьютерных символов: ASCII, Winl251, КОИ-8.

Вероятностный и алфавитный подходы к измерению ин­формации. Единицы измерения информации. Скорость передачи информации. Пропускная способность канала связи.

Различные подходы к измерению количества информа­ции в сообщении определяются различием подходов к опре­делению самого понятия «информация».

Чтобы измерить что-либо, необходимо ввести единицу из­мерения. Минимальная единица измерения информации — бит.Смысл данной единицы также различен в рамках раз­ных подходов к измерению информации. Выделяют три подхода.

1. Неизмеримость информации в бытуЕсли в сообщении содержалось для вас что-то новое, то оно информативно. Но для другого человека в этом же сооб­щении нет ничего нового, для него оно не информативно. Это происходит оттого, что до получения данного сообщения знания каждого из нас были различны. Фактор субъектив­ного восприятия сообщения делает невозможным количест­венную оценку информации в сообщении, т. е. если рассмат­ривать количество полученной информации с точки зрения новизны для получателя, то измерить её невозможно.

2. Вероятностный, или содержательный подходПопытаться объяснить данный подход можно, допустив, что для каждого человека можно условно выделить (напри­мер, в виде окружности) область его знания. Всё, что будет находиться за пределами окружности, можно назвать информа­ционной неопределенностью. Постепенно, в процессе обучения или иной деятельности происходит переход от незнания к зна­нию, т. е. неопределенность уменьшается. Именно такой под­ход к информации как мере уменьшения неопределенности знанияпозволяет ее количественно оценить (измерить).

Сообщение, уменьшающее неопределенность знания в 2 раза, несет один бит информации.

Например: при подбрасывании монеты может выпасть либо «орел», либо «решка». Это два возможных события. Они равновероятны. Сообщение о том, что произошло одно из двух равновероятных событий (например, выпала «реш­ка»), уменьшает неопределенность нашего знания (перед броском монеты) в два раза.

Математики рассматривают идеальный вариант, что воз­можные события равновероятны. Если даже события нерав­новероятны, то возможен подсчет вероятности выпадения каждого события.

Под неопределенностью знания здесь понимают количе­ство возможных событий, их может быть больше, чем два.

Например, количество оценок, которые может получить студент на экзамене, равно четырем. Сколько информации содержится в сообщении о том, что он получил «4»? Рассуж­дая, с опорой на приведенное выше определение, можем сказать, что если сообщение об одном из двух возможных событий несет 1 бит информации, то выбор одного из четы­рех возможных событий несет 2 бита информации. Можно прийти к такому выводу, пользуясь методом половинного деления. Сколько вопросов необходимо задать, чтобы выяс­нить необходимое, столько битов и содержит сообщение. Во­просы должны быть сформулированы так, чтобы на них можно было ответить «да» или «нет», тогда каждый из них будет уменьшать количество возможных событий в 2 раза.

Очевидна связь количества возможных равновероятных событий и количества информации:

Заполним по формуле таблицу:

Это формула Р. Хартли. Если р = 1/N — вероятность на­ступления каждого из N равновероятных событий, тогда формула Хартли записыватся так:

Чтобы пользоваться рассмотренным подходом, необходи­мо вникать в содержание сообщения. Это не позволяет ис­пользовать данный подход для кодирования и передачи ин­формации с помощью технических устройств.

3. Алфавитный подход к измерению информации. Подход основан на подсчете числа символов в сообщении. Этот подход не связывает количество информации с содержа­нием сообщения, позволяет реализовать передачу, хранение и обработку информации с помощью технических устройств, не теряя при этом содержания (смысла) сообщения.

Алфавитлюбого языка включает в себя конечный набор символов. Исходя из вероятностного подхода к определению количества информации, появление символов алфавита в тексте можно рассматривать как различные возможные со­бытия. Количество таких событий (символов) N называют мощностью алфавита. Тогда количество информации i, ко­торое несет каждый из JV символов, согласно вероятностно­му подходу определяется из формулы: N=2ⁱ

Количество символов в тексте из k символов: I=k*i

Алфавитный подход является объективным способом из­мерения информации и используется в технических устрой­ствах.