С использованием распределения Стьюдента

Степень согласованности мнений экспертов при численных оценках (полученных, например, методом непосредственной оценки) определяется с помощью дисперсииs ²или оценки дисперсии ;

или ,

где a_i – математическое ожидание оценки альтернативы по i-му критерию m экспертами,

– среднее арифметическое оценок альтернативы по i-му критерию m экспертами.

Если веса экспертов не установлены:

.

Задавшись уровнем значимостиa_i, можно определить границы интервала, в котором будет находиться результирующая оценка а:

, где .

Величина t имеет распределение Стьюдента с m – 1 степенями свободы.

Если относительный (нормализованный) коэффициент согласованности мнений экспертов больше 0,1, т. е. интервал, в котором находится оцениваемая вели­чина, является большим, то данный факт говорит о том, что мнения экспертов недостаточно согласо­ваны. Для повышения согласованности оценок необходим допол­нительный сеанс экспертизы.

Оценка согласия экспертов при использовании методов ранжирования с помощью коэффициента конкордации (согласия) W.

Для процедуры строгого ранжирования .

Для процедуры нестрогого ранжирования

,

где – число групп равных рангов, введенных k–м экспертом;

t_kj – количество дробных рангов в j–й ( ) группе, введенных k–м экспертом;

r_i – сумма рангов, присвоенных i–й альтернативе;

m – количество экспертов;

n – количество сравниваемых альтернатив.

Статистическую значимость ранжировки проверяют следующим образом. Выбирают значение a. Вычисляют величину . Из таблиц распределения c² для числа степеней (m–1) находят табличное значение величины . В том случае, если полученное значение больше табличного, полученная ранжировка статистически значима. В противном случае необходимо организовать дополнительный сеанс экспертизы.

Оценим статистическую значимость ранжировки из таблицы 1. Эта ранжировка является нестрогой. Она содержит группы равных рангов у всех экспертов кроме восьмого, десятого и двенадцатого:

m = 12, n =7;

r₁=63,5, r₂=78,5, r₃=23, r₄=69, r₅=19, r₆=35,5, r₇=47,5,

=1, =1, =2, =1, =1, =1, =1, =0, =1, =0, =1, =0;

t₁₁=2, t₂₁=2, t₃₁=2, t₃₂=2, t₄₁=2, t₅₁=2, t₆₁=2, t₇₁=2, t₉₁=2, t_11.1=2.

W = 0,47; = 7×11×0,47 = 36,19.

Для значения a = 0,05 и числа степеней свободы из таблиц распределения c² получаем c²_0,05(11) = 19,675, что соответствует табличному значению величины . Так как = 36,19 > = 19,675, то полученная ранжировка является статистически значимой.