Язык как знаковая система

Для обмена информацией с другими людьми человек использует естественные языки, в основе которых лежит алфавит, то есть набор символов.

Последовательность символов алфавита в соответствии с правилами грамматики образует основные объекты языка – слова. Правила, согласно которым образуются предложения из слов данного языка, называются синтаксисом. Схематично данная последовательность выглядит следующим образом:

грамматика синтаксис

алфавит слова предложения

Наряду с естественными языками, были разработаны формальные языки (язык алгебры, языки программирования и т.д.). Основное отличие формальных языков от естественных состоит в наличии в них строгих правил грамматики и синтаксиса.

Пример.

Сообщение объемом информации 0,25 Кбайт содержит по 128 символов на каждой из 4 страниц. Определить мощность использованного алфавита (мощностью алфавита называется количество содержащихся в нем символов).

Решение.

Подсчитаем количество символов, которое встречается на 4 страницах:

128*4=512.

Вычислим информационный вес одного символа:

0,25*1024*8/512 = 4 бита.

Допустим, что все символы встречаются в тексте с одинаковой частотой. Тогда по формуле Шеннона

N = 2⁴ = 16.

То есть, мощность алфавита равна 16 символам.