Информационная мера Фишера

2

1 σ_n^–2

0,242 σ_n

0 1 2 3

– 1

– 2

– 3

Рис. 12. Зависимость количества информации I,

вырабатываемой при однократном измерении величины u₀,

от среднеквадратического значения погрешностей измерений σ_n

Дифференциальная энтропия h(x) имеет следующие особенности.

а) Она может быть как положительной, так и отрицательной:

h(x) = 0 при σ_п = (2 π e) ^{– 1/2} ≈ 0,242.

б ) Она растёт с увеличением дисперсии D_п = σ_п² погрешностей измерений (то есть чем точнее измерительный прибор, тем меньше информации получается в результате его использования). Правда, мера Неймана-Винера имеет «правильную зависимость»: она даёт уменьшение количества измерительной информации с увеличением дисперсии D_п.

в) Она имеет «странную» размерность; например [log (Вольт)].

г) Она изменяется при формальном изменении масштаба по оси O x.

д) Она не обладает свойством аддитивности относительно дисперсии D_п.

Действительно. Если в нашем распоряжении имеются результаты двух независимых измерений x₁ и x₂, обладающих дисперсиями погрешностей D₁ и D₂, то их совместная плотность вероятности есть: p(x₁, x₂) = p(x₁) p(x₂). Дифференциальная энтропия в этом случае формально определяется как

h(x) = – log p(x₁, x₂) dx₁ dx₂ =

= – log p(x₁) dx₁ – log p(x₂) dx₂

и при гауссовских законах распределения p(x₁) и p(x₂) она равна:

h(x) = log + log , или h(x) = log μ ₀ + log σ₁ + log σ₂.

Если рассуждать «негэнтропийно», то следует полагать, что доизмерения (априори) мы имели некоторую большую неопределённость измеряемой величины x₀, характеризуемую дифференциальной энтропией h(x) = log σ₀ + log ,

где величина σ₀ определяется нашими предположениями относительно ожидаемого значения величины x₀.

Если мы провели измерение неизвестной нам величины x₀ и получили апостериорное значение x₁ со среднеквадратической погрешностью σ₁, то, согласно негэнтропийной точки зрения, мы получили количество измерительной информации: I₁ = h(x₀) – h(x₁) = log σ₀ – log σ₁ = log (σ₀ /σ₁) > 0.

Если мы имеем результаты двух независимых измерений x₁ и x₂ величины x₀ со среднеквадратическими погрешностями измерений соответственно σ₁ и σ₂, то мы должны считать, что получили количество измерительной информации

I₁ + I₂ = log (σ₀ /σ₁) + log (σ₀ /σ₂) = log [σ₀²/(σ₁ σ₂)].

Суммарное количество информации (I_Σ = I₁ + I₂) должно быть выражено через дифференциальную энтропию, то есть иметь вид I_Σ = log (σ₀ /σ_Σ). Однако из теоретической метрологии, как будет показано ниже, следует, что при оптимальном способе точечного оценивания величины x₀ по результатам двух независимых измерений x₁ и x₂ дисперсия оптимальной оценки будет минимально возможной и составлять величину D_Σ = σ_Σ² = 1/(σ₁^–2 + σ₂^–2).

Значит, при негэнтропийной трактовке процесса выработки измерительной (метрологической) информации имеем:

I_Σ = log(σ₀ /σ_Σ) = ,

или I_Σ = .

Если же считать, что результат второго измерения x₂ является апостериорным по отношению к первому x₁, то при втором измерении мы получим количество информации I₂₁ = log (σ₁ /σ₂). При σ₁ = σ₂ ( равноточные измерения): I₂₁ = log (σ₁ /σ₁) = 0, а если σ₂ > σ₁, то I₂₁ = log (σ₁ /σ₂) < 0.

Это явно противоречит интуитивному понятию о количестве информации, получаемой в процессе измерений, то есть в процессе выработки измерительной (метрологической) информации.

Как видим,формально-математическое обобщение меры знаковой (семиотической, дискретной) информации на измерительную (метрологическую, «непрерывную») информацию приводит к нарушению основных постулатов теории информации.

Вернёмся к основным постулатам теории информации и попытаемся непротиворечивым образом ввести информационную меру для измерительной (метрологической) информации.

Пусть измеряется некоторая величина x₀, которая может принимать любые значения из множества действительных чисел (– ∞ < x < ∞). Откалиброванный измерительный прибор не имеет систематической погрешности измерений ( ) и имеет дисперсию погрешностей измерений D₁ = σ₁². Какое количество информации формирует (вырабатывает) этот измерительный прибор, если в результате одного измерения получено значение x = x₁?

Очевидно, что измеряемая величина x₀ с некоторой вероятностью P ≈ 1 лежит в пределах (x₁ – c σ₁) < x ₀ < (x₁ + c σ₁), где c > 1 (интервальное оценивание: Ежи Нейман, 1937 г., или «остаточная неопределённость» результата измерения).

По аналогии со знаковой (семиотической) информацией (см. разд. 3) мы должны потребовать следующее.

а) Полученная в результате однократного измерения информация I(x₁) должна быть неотрицательной: I(x₁) ≥ 0.

б) Чем меньше дисперсия погрешностей D₁ измерительного прибора, тем точнее интервальная оценка (меньше «остаточная неопределённость») и тем больше информации мы получаем в результате однократного измерения x₁;

в) Если мы получили второе измерение x₂ другим прибором, характеризующимся большей дисперсией D₂ погрешностей (D₂ > D₁), то I ( x₂) < I ( x₁).

г) Для обеспечения свойства аддитивности измерительной (метрологической) информации рассмотрим максимальное количество информации, которое можно извлечь из результатов двух независимых неравноточных измерений x₁ и x₂.

Будем искать оценку величины x₀ в линейном виде: .

Чтобы оценка была несмещённой, то есть чтобы выполнялось равенство = x₀, нужно, чтобы математическое ожидание оценки было равным измеряемой величине x₀: .

Отсюда a₁ + a₂ + b = x₀, или ( a₁ + a₂ ) x₀ + b = x₀.

Значит, для несмещённости оценки следует положить:

b = 0 и a₁ + a₂ = 1.

Определим дисперсию D_Σ оценки :

,

или D_Σ = a₁² D₁ + a₂² D₂, поскольку = 0 – в силу независимо-

сти погрешностей результатов измерений x₁ и x₂.

Введём обозначение a = a₁; тогда a₂ = 1 – a и D_Σ = a ² D₁ + (1 – a) ² D₂.

Кроме несмещённости оценки разумно также потребовать, чтобы она имела дисперсию, наименьшую из возможных значений дисперсии для линейных оценок вида = a₁ x₁ + a₂ x₂ (эффективность оценки).

Для этого нужно решить уравнение

dD_Σ /da = 2 a D₁ – 2(1 – a) D₂ = 0,

в результате чего находим: a = D₁^–1/(D₁^–1 + D₂^–1) = a₁; a₂ = D₂^–1/(D₁^–1 + D₂^–1);

D_Σ^–1 = D₁^–1 + D₂^–1, или σ_Σ^–2 = σ₁^–2 + σ₂^–2.

Методом математической индукции можно доказать, что при произволь-

ном значении n > 2 оценки = будет иметь следующие величины оптимальных весовых коэффициентов {a_i} и минимальной дисперсии D_Σ:

a_i = D_Σ / D_i; D_Σ^–1 = ; σ_Σ^–2 = .

Следовательно, в общем случае n независимых неравноточных измерений

(x₁, x₂, …, x_i, …, x_n) неизвестной величины x₀ её оптимальная оценка вычисляется по формуле: = и имеет минимально возможную дисперсию D_Σ = = .

Это и есть информационная мера Р. Фишера, которая также представлена на рис. 12.

В 1981 г. Международный комитет мер и весов (МКМВ) рекомендовал использовать как показатель качества измерительной информации неопределённость результата измерения. В 1993 г. Международная организации по стандартизации (ИСО) узаконила в качестве меры неопределённости измерительной информации не энтропию Шеннона или Неймана-Винера, а обычное среднее квадратическое отклонение измеренной величины от среднего значения [47].

Таким образом, простейшая вероятностная модель источника измерительной (метрологической) информации (ИМИ) содержит следующие пять множеств:

U = {– ∞ < x < ∞} – множество возможных значений измеряемой величины;

D= {D_k} – множество дисперсий погрешностей измерений D_k (здесь k – но-

мер измерительного прибора);

I = {I_k = 1/D_k} – множество количеств информации, вырабатываемой посредством проведения независимых измерений с помощью одного из K измерительных приборов;

P = {P_k} – множество вероятностей P_k того, что данное измерение проводилось с помощью k-го прибора (или относительное количество – частотность – измерений, проведённых k-м прибором);

X = {X_l⁽ⁿ⁾; n = 1, 2, …; l = 1, 2, …, K ⁿ} – множество всевозможных последовательностей (выборок) X_l⁽ⁿ⁾ из n неравноточных независимых измерений.

Здесь имеет место полная аналогия со знаковой (синтактической, дискретной) информацией. Более того, так же, как и в знаковой системе, аддитивность информационной меры метрологической информации (Фишера) соблюдается в том случае, если «грамотно» обрабатывать измерительную информацию: в данном случае – правильно взвешивать результаты отдельных измерений x_i, чтобы получить оптимальную оценку, для которой и соблюдаются информационные постулаты.

Это аналогично следующему. Чтобы получить на выходе канала передачи дискретной информации (при наличии в канале КПДС помех), то количество знаковой (синтактической) информации, которое соответствует шенноновским оценкам (см. разд. 9), нужно согласовать источник ДИС с каналом КПДС, выработать соответствующие правила присвоения выходным символам значения первичных знаков и провести соответствующее помехоустойчивое канальное кодирование.

Действительно. Пусть имеется l-я выборка X_l ⁽ⁿ⁾ = (x_l1, x_l2, …, x_li, …, x_ln ) объёма n из результатов экспериментальных данных, которые получены различными авторами с помощью приборов, имеющих различную точность измерения. Какое количество метрологической информации I (X_l⁽ⁿ⁾) содержится в собранной нами выборке X_l⁽ⁿ⁾?

Очевидно, что I(X_l⁽ⁿ⁾) = , а среднее количество информации, приходящееся на одно из n измерений, (X_l⁽ⁿ⁾) = .

При достаточно большом значении n >> 1, аналогично выражению для (S_i⁽ⁿ⁾) в разд. 8, получаем: (X_l⁽ⁿ⁾) ≈ .

Величина не зависит от номера l выборки X_l⁽ⁿ⁾ и является собственной информационной характеристикой источника измериттельной (метрологической) информации (ИМИ):{U, D, I, P, X}, которую, по аналогии с источниками знаковых («дискретных») сообщений ДИС, можно назвать средней информативностью результата одного измерения, или удельной информативностью данного источника ИМИ {U, D, I, P, X} и определять её как (U) = .

В таком случае для любой, достаточно объёмной (n >> 1), выборки X_l⁽ⁿ⁾ получаем асимптотическую оценку количества метрологической информации в этой выборке: I(X_l⁽ⁿ⁾) ≈ n ( U ) = n .

Но величина I(X_l⁽ⁿ⁾) есть обратная дисперсия оптимальной линейной оценки измеряемой величины x₀. Дисперсия D_Σ этой линейной оценки асимптотически равна D_Σ = ≈ 1/[n (U)].

Если все D_k – одинаковы и равны D, то D_Σ ≈ D/n. Этот результат хорошо известен в теоретической метрологии [47] из теории независимых равноточных измерений (аналогия с семиотической мерой Хартли!) и говорит о том, что при n → ∞ дисперсия D_Σ линейной оценки = теоретически стремится к нулю.

Если выборка (x₁, x₂, …, x_i, …, x_n) представляет собой статистически связанные между собой случайные величины, то есть результат зависимых неравноточных измерений, то при m = 2 для линейной оценки имеем: b = 0, a₁ + a₂ = 1 и D_Σ = a₁² D₁ + 2 a₁ a₂ R₁₂+ a₂² D₂, где R₁₂ – корреляция случайных величин x₁ и x₂; .

Обозначая, как и ранее, a₁ = a, а a₂ = 1 – a, для дисперсии D_Σ получаем выражение: D_Σ = a ² D₁ + 2 a (1 – a) R₁₂+ (1 – a)² D₂.

Решая уравнение dD_Σ /da = 0, получаем

,

, (11.4)

.

Если выборку X⁽²⁾ = (x₁, x₂) записать в виде числового вектора-столбца x при x^Т = || x₁, x₂ || и ввести в рассмотрение корреляционную матрицу R этого случайного вектора x как R = || || = || ||, то матрица R^–1, являющаяся обратной к корреляционной матрице R, будет иметь

вид:

.

Сравнивая выражения для членов матрицы R^–1 (11.5), а также для вели-

чин a₁, a₂ и D_Σ, видим, что

. (11.6)

Вид выражения (11.6) не зависит от объёма n выборки X⁽ⁿ⁾. Поэтому мы

сразу же можем записать общее решение для произвольного значения n как

. (11.7)

где – i j-й член матрицы R^–1, обратной к корреляционной матрице R выборки X⁽ⁿ⁾ = (x₁, x₂, …, x_i, …, x_n), и доказать справедливость решения (11.7) методом математической индукции по n → ∞.

При этом каждый коэффициент a_i в оптимальной оценке придаёт соответствующему отсчёту x_i относительный вес, пропорциональный той измерительной информации, которую несёт данный отсчёт x_i об измеряемой величине x₀. Величина a_i пропорциональна сумме членов i-й строки матрицы R^–1, обратной к корреляционной матрице R выборки X⁽ⁿ⁾ = (x₁, x₂, …, x_i, …, x_n), а величину можно рассматривать как количество метрологической информации, которое несёт i-й отсчёт x_i об измеряемой величине x₀. Тогда в выборке X⁽ⁿ⁾ об измеряемой величине x₀ содержится информации , а величину следует называть удельной информативностью данного источника метрологической информации ИМИ. Именно поэтому Р. Фишер в 1921 г. (см. разд. 1) назвал матрицу R^–1 информационной матрицей выборки X⁽ⁿ⁾ = (x₁, x₂, …, x_i, …, x_n) из генеральной совокупности {x}.

Количество измерительной информации в достаточно объёмной выборке X⁽ⁿ⁾ (n >> 1) асимптотически равно ≈ n . При этом максимальной информативностью обладают (при прочих равных условиях) ис-

точники ИМИ с независимыми равноточными отсчётами. Проверим это утверждение для случая n = 2.

Если x₁ и x₂ – независимы, то R₁₂ = 0, и при D₁ = D₂ = D имеем = = 1/D₁ + 1/D₂ = 2/D. Если R₁₂ ≠ 0, то

, то есть < .

Как видим, имеется полная аналогия с информационной статикой дискретных (знаковых) источников сообщений ДИС (см. разд. 4-8), вплоть до удельной информативности систем ССПИ при наличии в каналах КПДС помех, если

Это и есть информационная мера Р. Фишера (1921 г.), которая также пред-ставлена на рис. 12.

В многомерном случае ситуация несколько усложняется. Рассмотрим результаты измерения координат объекта (x₀, y₀) на плоскости (x, y) – например, с помощью радионавигационной системы.

Пусть погрешности измерений распределены по двумерному гауссовскому закону p(x, y). Этот закон характеризуется дисперсиями погрешностей по осям Ox и Oy (D_x = σ_x², D_y = σ_y²), а также коэффициентом корреляции ρ_xy этих погрешностей.

Самуэль Уилкс (1906-1964) в 1960 г. ввёл понятие обобщённой дисперсии [32]: D_у = | R |, где R – корреляционная матрица порядка m погрешностей измерений по переменным x_j ( j = 1, 2, …, m). В двумерном случае дисперсия Уилкса D_у = σ_x² σ_y² (1 – ρ_xy²) и равна четвёртой степени радиуса круга r_э (эффективного радиуса рассеяния), равновеликого площади единичного эллипса рассеяния погрешностей измерений: r_э = , где a и b – полуоси единичного эллипса рассеяния.

В то же время, информационная мера Неймана-Винера в этом случае

,

то есть h' (x, y) = log r_э^{– 2}.

Эта мера удовлетворяет первым трём постулатам теории информации (см. разд. 3), но не четвёртому – постулату аддитивности.

Однако можно проверить, что мера 1/D_У = r_э^{– 4} также не удовлетворяет постулату аддитивности.

Действительно. Пусть ρ_xy = 0. В этом простейшем случае, при наличии двух независимых измерений (x₁, y₁) и (x₂, y₂) координат (x₀, y₀) с дисперсиями (σ_x1², σ_y1²) и (σ_x2², σ_y2²), соответствующие оптимальные оценки по осям Ox и Oy проводятся независимо, так что дисперсии σ_x² и σ_y² оптимальных оценок и суть: σ_x² = 1/(σ_x1^{– 2} + σ_x2^{– 2}), σ_y² = 1/(σ_y1^{– 2} + σ_y2^{– 2}).

При этом эффективные радиусы рассеяния удовлетворяют равенству

r_э1⁴ = σ_x1² σ_y1², r_э2⁴ = σ_x2² σ_y2², r_э⁴ = σ_x² σ_y² = (σ_x1^{– 2} + σ_x2^{– 2})^{– 1} (σ_y1^{– 2} + σ_y2^{– 2})^{– 1},

или = .

Это можно объяснить тем, что в одномерном случае из любого конечного числа отрезков произвольной длины всегда можно составить отрезок суммарной длины; в двумерном случае – из конечного числа квадратов далеко не всегда можно составить квадрат суммарной площади, а в трёхмерном случае – куб суммарного объёма.

Вернёмся к одномерной метрологической информации. Мы видели, что,

несмотря на погрешности измерений некоторой величины , с ростом количества n независимых измерений X⁽ⁿ⁾ = ( x₁, x₂, …, x_i, …, x_n ) количество измерительной информации в выборке I(X⁽ⁿ⁾) растёт аддитивно и при оптимальной обработке результатов измерений соответствующая дисперсия оптимальной линейной оценки величины x₀ уменьшается до бесконечно малой величины: → 0 при n → ∞.

Однако если учесть, что шкала измерительного прибора проградуирована с определённым шагом дискретности Δx, а аналого-цифровые преобразователи имеют конечную разрядность (цену деления шкалы Δx), то возникает вопрос, c какой предельно достижимой точностью можно измерить величину x₀ в результате достаточно большого количества многократных независимых измерений (проблема округления)?

Пусть некоторая действительная величина измеряется с помощью прибора, проградуированного с шагом дискретности Δ x или выдающе-го результаты измерений с округлением по правилу = [x/Δx + 0,5] Δ x, где символ [ y ] обозначает целую часть некоторого действительного числа y. Поскольку мы заранее, естественно, не знаем значения величины x₀ с достаточной точностью, то можно считать, что в пределах цены деления x_I < x₀ ≤ x_II априорное распределение неизвестной величины x₀ является равномерным (см. рис. 13).

Поэтому если в качестве результата однократного измерения величины x₀ мы получили значение x₁ = x_I, то величина x₀ имеет апостериорное распределение p_I(x), приблизительно равномерное в пределах промежутка:

(x_I – Δ x/2) < x ≤ (x_I + Δ x/2).

p(x)

p_I(x)

p₀(x)

Δ x