Методы экспертных оценок

Под экспертными оценкамипонимают эвристические оценки, основанные на опыте и интуиции эксперта. Широкое распространение метода было обусловлено сложностью и многофакторностью экономических измерений.

Выделяют два уровня использования экспертных оценок – количественный и качественный. На качественном уровне эксперты выражают свое мнение о тенденции изменения показателей, а на качественном – составляют прогноз вероятных результатов.

Различают индивидуальные и групповые экспертные оценки. Групповые оценки снижают риск субъективности, так как результат оценки тесно связан с личностью эксперта.

Метод экспертных оценок применяется в случаях, когда:

1) длина исходных динамических рядов недостаточна для оценивания с использованием экономико-статистических методов;

2) связь между исследуемыми явлениями носит качественный характер и не может быть выражена с помощыо традиционных количественных измерителей;

З) входная информация неполная и невозможно предсказать влияние всех факторов;

4) возникли экстремальные ситуации, когда требуется принятие быстрых решений. Суть экспертных методов заключается в организованном сборе суждений и предположений экспертов с последующей обработкой полученных ответов и формированием результатов.

При отборе экспертов необходимо провести их оценку при помощи тестирования, самооценки или взаимной оценки экспертами друг друга. По результатам оценки можно рассчитать так «весовой коэффициент» значимости оценки каждого эксперта. Значение его будет прямо пропорционально степени компетентности эксперта.

Важной характеристикой качества результата экспертизы считают согласованность мнения экспертов, которую оценивают по величине коэффициента конкордации Кендалла:

W = 12 * S / ( n 2 * ( m3 – m)),

где S – сумма квадратов отклонений всех оценок рангов каждого объекта экспертизы от среднего арифметического;

n – число экспертов; m - число объектов экспертизы.

Коэффициент конкордации изменяется в диапазоне от 0 до 1, причем 1 соответствует полной согласованности мнений экспертов.

Пример:

Различают следующие методы экспертных оценок:

Попарное сравнение

В этом случае эксперту предлагается сравнить объекты исследования по принципу «лучше или хуже» и построить ранжированный ряд. При выполнении оценки эксперт сравнивает пары объектов, отдавая предпочтение одному из них. Предпочтение обозначается 1, в противном случае – 0. Результаты сводятся в таблицу следующего вида:

Таблица

В первой строке оценивается объект 1 по сравнению с объектами 2,3,4,5,6. Видно, что объект 1 предпочтительнее, чем объекты 2,4,5 и 6, но проигрывает объекту 3. Во второй строке сравнивается объект 2 с остальными объектами. Можно заметить, что если объект 1 предпочтительней объекта 2 (по 1-ой строке, где стоит «1»), то объект 2 (по 2-ой строке) менее предпочтителен объекта 1 (стоит «0»).

Сумма баллов по строке показывает общую оценку объекта и позволяет ранжировать их по степени предпочтительности. В приведенном примере объекты 1 и 2 получают равные оценки, самым лучшим является объект 3, самым неудачным – объект 5.

2. Метод «Дельфи».

Предполагает проведение экспертизы в несколько этапов и работу нескольких изолированных групп экспертов. На первом этапе каждая группа экспертов высказывает свое мнение, затем все оценки анализируются. Из предложенных оценок выбираются крайние значения, которые вновь подвергаются уже совместной экспертизе. Обычно требуемый уровень согласованности достигается на втором этапе, но при необходимости анализ крайних оценок можно повторить.

Один из наиболее известных методов экспертных оценок - это метод Дельфи. Название дано по ассоциации с древним обычаем для получения поддержки при принятии решений обращаться в Дельфийский храм. Он был расположен у выхода ядовитых вулканических газов. Жрицы храма (пифии), надышавшись отравы, начинали пророчествовать, произнося непонятные слова. Специальные "переводчики" - жрецы храма толковали эти слова и отвечали на вопросы пришедших со своими проблемами паломников. Те спрашивали, отправляться ли в морское путешествие, вступать ли в брак, заключать ли договор с тем или иным деловым партнером, начинать ли войну, и т.д.

Технология экспертного оценивания состояла в следующем. Получив "заказ на экспертное прогнозирование", жрецы передавали его пифиям, выслушивали пророчества пифий, а затем толковали услышанное заказчику. С течением времени в храме накапливались пожертвования и памятные доски от тех, для кого прогнозы сбылись. Если же прогноз не осуществился, то сообщить об этом зачастую было некому, - заказчик лежал на морском дне или был убит в битве, разорен и продан в рабство, и т.п.

По традиции говорят, что Дельфийский храм находился в Греции. Но там нет вулканов. Видимо, он был в Италии - у Везувия или Этны, а сами описанные предсказания происходили в XII-XIV вв. Это вытекает из высшего достижения современной исторической науки - новой статистической хронологии.

В США в 1960-х годах методом Дельфи назвали экспертную процедуру прогнозирования научно-технического развития. В первом туре эксперты называли вероятные даты тех или иных будущих свершений. Во втором туре каждый эксперт знакомился с прогнозами всех остальных. Если его прогноз сильно отличался от прогнозов основной массы, его просили пояснить свою позицию, и часто он изменял свои оценки, приближаясь к средним значениям. Эти средние значения и выдавались заказчику как групповое мнение. Надо сказать, что реальные результаты исследования оказались довольно скромными - хотя дата высадки американцев на Луну была предсказана с точностью до месяца, все остальные прогнозы провалились - холодного термоядерного синтеза и средства от рака в ХХ в. человечество не дождалось.

Однако сама методика оказалась популярной - за последующие 15 лет она использовалась не менее 40 тыс. раз. Средняя стоимость экспертного исследования по методу Дельфи - 5 тыс. долларов США, но в ряде случаев приходилось расходовать и более крупные суммы - до 130 тыс. долларов.

Другие названия метода: "Дельфийский метод", "Метод дельфийского оракула".

Авторы метода: О. Холмер, Т. Гордон и др. (США), 50-е годы XX в.

Назначение метода

Применяется на этапах формулирования проблемы и оценки различных способов ее решения. Метод Дельфи - один из инструментов выбора и оценки решения.

Цель метода

Получение согласованной информации высокой степени достоверности в процессе анонимного обмена мнениями между участниками группы экспертов для принятия решения.

Суть метода

Метод Дельфи - инструмент, позволяющий учесть независимое мнение всех участников группы экспертов по обсуждаемому вопросу путем последовательного объединения идей, выводов и предложений и прийти к согласию. Метод основан на многократных анонимных групповых интервью.

План действий

1. Сформировать рабочую группу для сбора и обобщения мнений экспертов.

2. Сформировать экспертную группу из специалистов, владеющих вопросами по обсуждаемой теме.

3. Подготовить анкету, указав в ней поставленную проблему, уточняющие вопросы. Формулировки должны быть четкими и однозначно трактуемыми, предполагать однозначные ответы.

4. Провести опрос экспертов в соответствии с методикой, предполагающей при необходимости повторение процедуры. Полученные ответы служат основой для формулирования вопросов для следующего этапа.

5. Обобщить экспертные заключения и выдать рекомендации по поставленной проблеме.

Особенности метода

Дельфи", "дельфийский метод", "метод дельфийского оракула" происходят от названия местечка Дельфи, где жили оракулы-прорицатели при храме бога Аполлона (Древняя Греция).

Слово главного оракула принималось за истину в последней инстанции.

Известно, что использование коллективных знаний ведет к возможности нахождения сильных решений, однако в процессе обмена мнениями между участниками может сказаться влияние авторитета коллег и все сведется к появлению популярных ответов.

Метод Дельфи позволяет разрешить это диалектическое противоречие. Для этого прямые дискуссии экспертов заменяются индивидуальными опросами. Собранные варианты ответов подвергаются статистической обработке. Полученные обобщенные ответы передаются каждому эксперту путем личного общения, либо по обычной или электронной почте с просьбой пересмотреть и уточнить свое мнение, если он сочтет необходимым. Эта процедура может повторяться несколько раз.