Анализ экспертных оценок

Объектом данного анализа могут быть оценки отдельных экспертов или групп экспертов. Цель анализа – оценка достоверности суждений экспертов. Если подтверждается близость мнений экспертов, их достоверность возрастает. При отсутствии такой близости, взаимосвязи необходимо выяснить ее причины и постараться их устранить. Для этого, возможно, потребуется предоставить экспертам дополнительную информацию, расширить или изменить их состав, провести повторные экспертизы.

Коэффициент корреляции рангов и конкордациииспользуются для выявления связей между мнениями группы экспертов.

При регулярной оценке двумя экспертами продукции из группы в nизделий им приписывается значение со знаком «+», когда ранг изделия у первого эксперта выше, чем у второго, и «‑», когда нет. Если общую сумму всех разностей оценок обозначить через S,то

называется коэффициентом корреляции рангов Кендалла,который равен t=1 при совпадении всех рангов у двух экспертов и t= ‑1 – при их противоположности. Если учитывать только отрицательные оценки, а их сумму обозначить Qто коэффициент корреляции рангов рассчитывается по формуле:

Для определения близости мнений двух экспертов широко применяется оценка, использующая d– разность рангов:

называемая коэффициентом корреляции рангов Спирмена.

Кроме того, используя R, можно определить наличие или отсутствие корреляции. Так, при n≥ 10,

Оценка приближенно следует t‑распределению с (n – 2) числом степеней свободы.

Пусть требуется рассмотреть 10 изделий, которым присвоены порядковые номера, и двум экспертам Aи Bпоручено проранжировать их по убыванию качества (табл. 4.14) [56].

Таблица 4.14. Ранжировки экспертов Изделия 123456789 10

Переписываем таблицу так, чтобы данные ранжировки эксперта Aбыли упорядочены по возрастанию (табл. 4.15)

Таблица 4.15. Инверсии в ранжировках

Подсчитываем последовательно для результатов эксперта Bчисло данных справа, которое меньше 2, 3… 11 соответственно, и строим ряд инверсий: 1, 1, 0, 0, 1, 1, 1, 1, 0, 0. Сумма числа инверсий Q=6 и для n=10 коэффициент корреляции рангов Кендалла:

Сумма квадратов разностей

поэтому коэффициент корреляции рангов Спирмена

Коэффициент корреляции рангов Rравен +1, когда мнения двух экспертов совпадают полностью, а когда они взаимно обратны, коэффициент корреляции будет равен ‑1.

Рассмотрим корреляцию ранжировок, используя t_n распределение и полученный R:

Это значение больше, чем табличное t₈₍₀₀₁₎ = 3,355, следовательно, степень близости ранжировок высока.

Для оценки совпадения мнений mэкспертов используют коэффициент кон‑кордации W.Поскольку сумма рангов, выставленных одним экспертом для nизделий равна

ожидаемое значение суммы рангов изделия.

Суммы рангов достигают максимума при полном совпадении оценок экспертов и для различных изделий соответственно равны m,2m… nm.Рассмотрим максимальную сумму квадратов разностей:

Однако на практике в мнениях экспертов возникают некоторые расхождения, поэтому, используя фактические суммы рангов изделий S,получаем ожидаемое:

которое меньше, чем S_max, а их отношение служит для определения степени совпадения мнений экспертов W:.

Рассмотрим 7 изделий, которые оценивали 5 экспертов (табл. 4.16).

Таблица 4.16. Оценки экспертов

Так как

Подставляя ожидаемое значение в формулу коэффициента конкордации (4.19), получаем:

который показывает, что оценки экспертов не случайны, так как W не равен нулю, но до полного совпадения W = l им далеко.

Метод парных сравнений. Один эксперт может сравнить между собой n контролируемых объектов. При этом в качестве меры непротиворечивости сравнения используется число К, учитывающее количество встретившихся противоречий Т, то есть число встретившихся циклических треугольников:

Если в парных сравнениях выводы о каждом из n изделий совершенно случайны, то среднее m и дисперсия σ² общего числа Т, получаемых циклических или обходных треугольников, имеют вид:

При большом n можно считать, что закон распределения Т близок к нормальному.

Когда объект A предпочтительнее B, можно записать A ← B или B → A. При этом, если из A ← B и B ← C делается вывод, что A ← C, то противоречия нет.

Это можно выразить графически треугольником, у которого , называемого непротиворечивым треугольником, или треугольником суммы (рис.4.56, а).

Однако если из A ← B и B ← C сделан вывод, что C ← A, то возникает противоречие СВ + ВА = СА , графически представляемое в виде противоречивого, или циклического, треугольника (рис. 4.56, б).

Рис. 4.56. Треугольник суммы (а) и циклический треугольник (б)

При числе объектов, равном n, число пар, составленных из них, будет C_n².

Так, для n= 7 изделий C₇²= 21, а матрица предпочтений представляет таблицу, в которой на пересечении столбца и строки ставится при предпочтении 1, в противном случае 0 (табл.4.17).

Таблица 4.17. Матрица предпочтений

Если эти предпочтения изобразить графически, то получится многоугольник или граф предпочтений (рис.4.57).

Рис. 4.57. Многоугольник предпочтений с циклическими треугольниками: Δ1–3–5, Δ1–3–6, Δ3–4–5

Противоречивость вывода можно оценить, подсчитывая число циклических треугольников, входящих в структуру многоугольника предпочтений. Поскольку n = 7, Т = 3, то мера непротиворечивости К равна:

Если бы вывод был совершенно случайным, то среднее m и дисперсия σ² числа циклических треугольников Т были бы:

Рассмотрим отношение отклонений:

Его значение выходит даже за одностороннюю 5% точку (1,64) нормального распределения, следовательно, число циклических треугольников, полученных в результате оценки, значительно меньше, чем при совершенно случайной оценке.

Методы Тагути