Экспертное оценивание ранжированием.
В случае, если результат оценивания качества эксперты представляют в виде ранжированного ряда, то численное определение итоговых численных оценок качеств состоит в следующем:
1. Все объекты оценивания (изделия, свойства) нумеруются произвольно.
2. Эксперты ранжируют объекты по шкале порядка.
3. Ранжированные ряды объектов, составленные экспертами, сопоставляются.
Например, пусть пять экспертов о семи объектах экспертизы Qсоставили такие ранжированные ряды по возрастающей шкале порядка:
эксперт № 1 – Q5< Q3 < Q2< Q1< Q6< Q4< Q7;
эксперт № 2 – Q5 < Q3 < Q2 < Q6 < Q4 < Q1 < Q7;
эксперт №3 – Q3 < Q2 < Q5 < Q1 < Q6 < Q4< Q7,
эксперт № 4 – Q5< Q3< Q2< Q1 < Q4< Q6 < Q7;
эксперт № 5 – Q5 < Q3 < Q1 < Q2 < Q6 < Q4 < Q7.
Место объекта в ранжированном ряду называется его рангом. Численное значение ранга в ряду возрастающей шкалы порядка увеличивается от 1 до т (т — количество оцениваемых объектов).
В данном примере т = 7.
4. Определяются суммы рангов каждого из объектов экспертной оценки.
В рассматриваемом примере они таковы:
Q1 – 4 + 6 + 4 + 4 + 3 = 21;
Q2 – 3 + 3 + 2 + 3 + 4 = 15;
Q3 –2 + 2 + 1 + 2 + 2 = 9;
Q4 –6 + 5 + 6 + 5 + 6 = 28;
Q5 – 1 + 1 + 3 + 1 + 1 = 7;
Q6 – 5 + 4 + 5 + 6 + 5 = 25;
Q7 –7 + 7 + 7 + 7 + 7 = 35.
5. На основании полученных сумм рангов строят обобщенный ранжированный ряд.
Следовательно, в итоге ранжированный ряд, полученный всеми экспертами группы, имеет вид:
Q5 < Q 3 < Q2 < Q1 < Q6 < Q4 < Q7
6. Обобщенные экспертные оценки качества рассматриваемых объектов экспертизы, т.е. коэффициенты их весомости, рассчитываются по формуле:
где n – количество экспертов; т — число оцениваемых показателей; Qi,j – коэффициент весомости j-го показателя в рангах (баллах), который дал i-й эксперт.
Расчеты по формуле для рассматриваемого примера дают следующие результаты:
Анализируя полученные экспертным методом оценки качества, можно не только указать, какой объект лучше или хуже других, но и насколько.
7. Точность экспертных оценок определяют по согласованности мнений экспертов. Степень совпадения оценок экспертов, входящих в комиссию, характеризует качество экспертизы и выражается коэффициентом конкордации:
где S – сумма квадратов отклонений рангов или баллов каждого объекта от среднего арифметического значения;
п – количество экспертов; т — количество оцениваемых объектов.
Сумма квадратов отклонений рангов (S) от среднеарифметического их значения (Рсp ) по всем объектам и экспертам находят по формуле:
,
где Qij – оценка в рангах, данная i-му объекту j-м экспертом;
Qcp – среднеарифметическое значение рангов.
Полная запись формулы коэффициента конкордации имеет следующий вид:
.
При W = 0 – абсолютная несогласованность, а при W = 1,0 – полное совпадение мнений (оценок). Следовательно, 
.
При экспертных методах оценки, в которых ранги окончательно не определяются, для нахождения коэффициента конкордации рассчитанные значимости объектов следует переводить в ранги путем их ранжирования. В противном случае оценку степени согласованности мнений экспертов проводят по другим критериям.
В рассматриваемом здесь примере среднее арифметическое значение рангов Qсрравно:
Сумма квадратов отклонений от среднего арифметического значения рангов
S = 12 + 52+112+132 +52+152 = 630
Следовательно, коэффициент конкордации в данном случае
Повысить точность экспертных оценок показателей качества можно, если произвести двукратное сопоставление и оценивание объектов, т.е. сначала это сделать в одной последовательности, а потом в противоположной.
Дата добавления: 2015-10-26; просмотров: 8165;