Энтропия и избыточность языка.

Свойства текстов изучаются методами теории информации, разработанной К. Шенноном. Ключевое понятие – энтропия, определяемая функцией от вероятностного определения и характеризующая количество неопределенности или информации в случайном эксперименте. Неопределенность и информацияизмеряются одной и той же мерой. Применительно к независимым испытаниям случайной величины x с распределением вероятностей

энтропия H(x) определяется формулой

Единицей количества информации считается 1 бит. При p_i = 1/n при всех , то

.

Мерой среднего количества информации, приходящейся на одну букву открытого текста языка L (рассматриваемого как источник случайных текстов), служит величина H_L, называемая энтропией языка L. вычисляется последовательными приближениями позначных моделей текста: H₁, H₂, … H_r.

Для каждого языка значение H_L стремится к определенному пределу (после r = 30 предел уже устанавливается):

.

при этом формула

определяет избыточность языка R_L. Разговорные языки имеют весьма большую избыточность. Избыточность текста в 75% означает, что при оптимальном кодировании текста (например использование кодов Хаффмена, Фано или других) его можно сжать до четверти без потери информации.

Энтропию можно определить и по другому. Для n-буквенного алфавита число текстов длины L, удовлетворяющих статистическим ограничениям, равно (при достаточно больших L) не как это было бы, если бы мы имели право брать любые наборы из L букв, а всего лишь

По сути это приближенное число осмысленных текстов длины L для данного языка L. Исходя из этого можно определить энтропию языка формулой