Оценка компетентности экспертов

Качество экспертного прогноза в значительной степени определяется уровнем компетентности привлекаемых к опросу экспертов. Поэтому высокая компетентность эксперта является основным условием привлечения его к участию в разработке прогноза.

Все многообразие качественных характеристик компетентности чаще всего сводят к трем основным:

• эрудиция в смежных отраслях, определяемая научно-практическим кругозором эксперта;
• способность к научному предвидению;
• осведомленность эксперта в исследуемой области знаний.

В настоящее время наиболее распространенными являются следующие способы оценки компетентности экспертов:

• самооценка (субъективная оценка);

• оценка группой экспертов каждого специалиста;

• оценка на основе опыта и результатов прошлой деятельности экспертов.

В различных случаях используют либо один из этих трех способов, либо некоторую их совокупность.

Способом объективной оценки, как правило, оценивают эрудицию и способность к предвидению. В ряде случаев для объективной оценки компетентности используют коэффициент аргументированности суждений эксперта. Этот коэффициент учитывает структуру аргументов, послуживших эксперту основанием для того или иного суждения.

При составлении этой таблицы принималось во внимание следующее:

а) коэффициент аргументированности К_а не должен превышать 1;

б) значению К_а=1 соответствует высокая степень влияния на мнение эксперта всех источников аргументации; К_а=0,8 - средняя степень влияния; К_а=0,5 - низкая степень влияния;

в) К_а уменьшается при переходе от «производственного опыта» к «теоретическому анализу» и от последнего к прочим источникам аргументации. В других анкетах объективной оценки, используемых для определения компетентности эксперта, формулируются такие характеристики компетентности, как, например, стаж научной работы, занимаемая должность, ученая степень и звание, число научных трудов и т.д.

В качестве примера в таблице приведена подобная шкала с соответствующими градациями и баллами оценки для определения уровня проводимой экспертом научной работы.

Оценку по каждой шкале также делят на максимально возможный балл (в данном случае равный 10). Таким образом, может быть получен ряд коэффициентов, характеризующих эрудицию эксперта.

Оценкой компетентности экспертов является и определение уровня их осведомленности на основе количественной оценки специализации экспертов и степени предпочтительности той или иной специализации для решения данного вопроса.

В этом случае результатом оценки является матрица компетентности экспертов, характеризующая уровень осведомленности каждого из экспертов по каждому из вопросов, содержащихся в предлагаемой анкете экспертного опроса.

Для построения матрицы компетентности экспертов каждому эксперту предлагается заполнить таблицу, характеризующую уровень осведомленности по соответствующей специализации.

Каждый эксперт, заполнив такую таблицу, указывает свой уровень осведомленности по каждой из приведенных там специализаций. В дополнение к таблице должны быть даны градация осведомленности (от 1 до 10).

Далее строится матрица специализация экспертов по каждому вопросу анкеты

Здесь используются следующие обозначения:

i- порядковый номер экспертов (1…n);

α - порядковый номер специализации (1…s);

θ_αi - условное число (балл), характеризующее уровень осведомленности i-го эксперта в α-й специализации (1…10).

Кроме этого, необходимо иметь заранее разработанную специалистами матрицу, характеризующую степень предпочтительности специализации эксперта, для установления наибольшей компетентности в конкретных вопросах, содержащихся в анкете:

β - порядковый номер вопроса (1…m);

R_αβ - степень предпочтительности α-й специализации по β-му вопросу.

Для количественной оценки можно воспользоваться, например, следующей шкалой оценки предпочтительности

На основе матрицы специализации экспертов θ_αi и матрицы предпочтительности специализации экспертов R_αβ рассчитываются коэффициенты компетентности экспертов

где k_iβ - коэффициент компетентности (вес i-го эксперта по β-му вопросу).

В тех случаях, когда эксперт не ответил по каким-либо причинам на данный вопрос, его компетентность в этом вопросе считается равной нулю (k_iβ = 0).

Одним из путей объединения ряда объективных и субъективных оценок является определение обобщающего коэффициента компетентности для каждого i-го эксперта (α_i):

где

k_iz- оценка (коэффициент) компетентности i-го эксперта, полученная z-м способом;

l_z - весовой коэффициент z-го способа оценки в общей системе оценок;

z - индекс применяемого способа оценки (1…r).

Рассмотренные подходы к определению компетентности экспертов наиболее широко используются в методах коллективной экспертной оценки.