Измерение и меры информации. Энтропия

Измеряется не сама информация, а ее материальное представление. Условно все подходы к измерению информации можно разделить на энтропийный, алгоритмический, семантический и прагматический. Первые два претендуют на количественное определение, два последних - лишь на качественное.

Энтропийный подход был предложен К. Шенноном по аналогии с принятым в физике определением для характеристики перехода тепловой энергии в механическую. Он назвал энтропией количество информации, передаваемой отправителем, и считал ее мерой неупорядоченности системы, тогда как информация служит мерой ее упорядоченности. Нулевой энтропии соответствует максимальная информация. Энтропийный подход в теории информации Шеннона позволяет ответить на вопрос: "Сколько информации содержит объект Y относительно объекта Х?". В рамках алгоритмического подхода, предложенного А. Н. Колмогоровым, можно ответить на вопрос: "Сколько нужно информации, чтобы описать объект Х?". В этом способе измерение количества информации в последовательности нулей и единиц сводится к измерению минимальной длины программы, необходимой для воспроизведения этой последовательности.

Эти и другие количественные способы измерения информации (вероятностный, комбинаторный), по существу, оценивают объем данных, в которых содержится информация. Они не позволяют оценить смысловое содержание сообщения, его семантику. Многочисленные попытки формального описания и оценки интеллектуальных процессов информационного взаимодействия не выходят за пределы более или менее удачных попыток. Наиболее известен семантический подход И. Бар-Хиллела (США) и Р. Карнапа (Австрия), в котором семантическая информация в сообщении понимается как логическое высказывание и измеряется числом состояний универсума, при которых это высказывание оказывается ложным. Этот подход реализует давнюю идею Г. В. Лейбница о том, что логически истинные высказывания, верные во всех возможных мирах, не могут содержать фактической информации.

Прагматический подход, предложенный А. А. Харкевичем, оценивает информацию через изменение вероятности достижения определенной цели, возникающее под воздействием сообщения. Наиболее удачным представляется подход Ю. А. Шрейдера, который оценивал семантическую информацию сообщения любой природы как степень изменения системы знаний (тезауруса) человека в результате восприятия данного сообщения. Эта мера, хотя и не может быть выражена численно, оценивает новизну и доступность сообщения для адресата. Отправитель сообщения в процессе информационного взаимодействия также получает новое знание о состоянии тезауруса адресата по тому, понял или не понял он смысл сообщения.