Методы экспертных оценок

При исследовании сложных систем возникают проблемы, выходящие за пределы формальных математических постановок задач. В таком случае прибегают к услугам экспертов, т.е. лиц, чьи суждения и интуиция могут уменьшить сложность проблемы.

Простейший вариант состоит в следующем. Если эксперты предлагают различающиеся упорядочения альтернатив, то возникает вопрос о том, как использовать мнения всех экспертов для окончательного упорядочения. Это далеко не тривиальная задача. Фактически мы возвращаемся к проблеме коллективного выбора со всеми его особенностями, в том числе – с возможностями парадоксов (см. § 7.5) [24; 31].

Предположим, например, что эксперты оценивают альтернативы в числовых шкалах (см. § 6.2). Пусть q_j(x_i) – оценка i-й альтернативы j-м экспертом ( ). Оценки q₁(x_i), ..., q_n(x_i) можно рассматривать как “измерения” искомой “истинной характеристики” q(x_i), считая отклонения q_j(x_i) – q(x_i) случайными величинами. В качестве приближения можно использовать некоторую статистику = ; обычно это выборочное среднее

,

но можно использовать и другие статистики (см. § 7.7).

Сложнее обстоит дело, когда альтернативы нельзя оценить сразу одним числом и экспертам предлагается дать оценки отдельно по каждому показателю. Например, оценка качества промышленного изделия складывается из оценок признаков социальных (уровень потребности), функциональных (степень соответствия назначения), экономических, эстетических, эргономических и др. В этом случае имеем набор чисел q_jk(x_i), где k – номер признака. Кроме этих чисел экспертов просят оценить степень важности ?_jkкаждого показателя (если это не выполнено другим способом). Тогда

.

Следующее уточнение вводят в случае неоднородности группы экспертов. Естественно придать различные (а не одинаковые, равные 1/n) веса мнениям экспертов, имеющих разную квалификацию. Определение коэффициента ?_jкомпетентности j-го эксперта можно поручить самим экспертам. Пусть каждый из них (l-й) оценивает компетентность других числами 0 £ ?_lj £ 1 (при этом и свою – числом ?_ll). Усреднение* дает . В результате получают итоговую оценку

.

В тех случаях, когда эксперты лишь упорядочивают альтернативы, т.е. используют только порядковую шкалу, возможность арифметических операций отпадает (см. § 6.2). Тогда переходят к обработке либо относительных частот предпочтений данной альтернативы, либо рангов; иногда используют “медианную” альтернативу или расстояния между ранжированиями [24].

Более глубокие сведения о сравниваемых альтернативах можно получить, изучая “тонкую структуру” суждений экспертов. Дело в том, что оценки экспертов “разбросаны” в пространстве критериев или упорядочений неравномерно, и чаще всего можно выделить несколько кластеров, т.е. кучно расположенных оценок, можно обнаружить и “выбросы”, т.е. оценки, далеко отстоящие от кластеров. Значительный интерес представляет выяснение общего между близкими оценками и различий между отдаленными оценками. Это выполняют уже в ходе уточняющих опросов, в других терминах. Например, при сравнении качества промышленных изделий [24] выяснилось, что кластеры связаны с такими отсутствовавшими в исходной анкете признаками, как различная жесткость правил приемки для различных альтернатив, технологические различия между моделями изделий и т.д. Возможен и более детальный анализ расхождений экспертов во мнениях [29; 37].

Изучению особенностей и возможностей применения экспертных оценок посвящено много работ. В них рассматриваются:

1) проблемы формирования экспертных групп, включая требования к экспертам, размеры группы, вопросы тренировки экспертов, оценки их компетентности;

2) формы экспертного опроса (разного рода анкетирования, интервью, смешанные формы опроса) и методики организации опроса (в том числе методики анкетирования, мозговая атака, деловые игры и т.п.);

3) подходы к оцениванию (ранжирование, нормирование, различные виды упорядочения, в том числе методы предпочтений, попарных сравнений и др.);

4) методы обработки экспертных оценок;

5) способы определения согласованности мнений экспертов, достоверности экспертных оценок (в том числе статистические методы оценки дисперсии, оценки вероятности для заданного диапазона изменений оценок, оценки ранговой корреляции Кендалла, Спирмена, коэффициента конкордации и т.п.) и методы повышения согласованности оценок путём соответствующих способов обработки результатов экспертного опроса.

1.6. Методы типа «делфи»

Следующим шагом в развитии экспертных оценок является метод “Делфи” [43]. Основная идея этого метода состоит в том, что критика благотворно влияет на эксперта, если она психологически не связана с персональной конфронтацией. Поэтому если проводить оценку альтернатив в несколько туров, сообщая после каждого его полные итоги и сохраняя анонимность участников, то эксперты склонны не только критиковать, но и прислушиваться к критике, относящейся к ним лично. Устранение психологических трудностей, связанных с персональной критикой, придает самой критике большую деловитость, объективность, она легче воспринимается. Все это приводит к тому, что обычно оказывается достаточно следующих четырех этапов:

1) раздача анкет, сбор оценок, их обобщенное представление с указанием разброса мнений;

2) сообщение итогов и запрос объяснений причин индивидуального отклонения от средней или медианной оценки первой итерации;

3) сообщение всех объяснений и запрос контраргументов на них;

4) сообщение возражений и запрос новых оценок альтернатив, если эксперт пожелает их изменить; нахождение окончательного итога.

Вся работа проводится под руководством отдельной управляющей группы, в которую входят системный аналитик и лицо, принимающее решения; анонимность экспертов сохраняется до конца работы (а по желанию экспертов – и после ее окончания). Методика “Делфи” показала на практике хорошую эффективность.

Подведем итог Всякий выбор основан на оценивании или на сравнении альтернатив. В ряде случаев не удается сделать такую оценку “объективно”, т.е. произвести нужные измерения с помощью измерительных приборов. Тогда прибегают к “субъективным измерениям”, т.е. к экспертным оценкам. Такой способ оценивания альтернатив имеет важные особенности не только в самом процессе получения оценок, но и в методах их обработки. Эти особенности необходимо учитывать в ходе проведения системного анализа с привлечением экспертов.

Метод «Дельфи» или метод «дельфийского оракула» первоначально был предложен О. Хелмером и его коллегами как итеративная процедура при проведении мозговой атаки, которая способствовала бы снижению влияния психологических факторов при проведении заседаний и повышению объективности результатов.

Однако почти одновременно «Делфи»-процедуры стали средством повышения объективности экспертных опросов с использованием количественных оценок при сравнительном анализе составляющих «деревьев целей» и при разработке «сценариев». Основные средства повышения объективности результатов при применении метода «Дельфи» – использование обратной связи, ознакомление экспертов с результатами предшествующего тура опроса и учёт этих результатов при оценке значимости мнений экспертов.

В конкретных методиках, реализующих процедуру «Дельфи», эта идея используется в разной степени. Так, в упрощённом виде организуется последовательность итеративных циклов мозговой атаки. В более сложном варианте разрабатывается программа последовательных индивидуальных опросов с использованием методов анкетирования, исключающих контакты между экспертами, но предусматривающих ознакомление их с мнениями друг друга между турами.

Этапы «Дельфи»-процедуры:

1. Предварительный:

- подбор группы экспертов — чем больше, тем дольше — до 20.

2. Основной:

- постановка проблемы — экспертам рассылается вопрос и предлагается его разбить на подвопросы. Организационная группа отбирает наиболее часто встречающиеся. Появляется общий опросник.

- этот опросник рассылается экспертам. Их спрашивают — можно ли добавить ещё что-то; достаточно ли информации; есть ли дополнительная информация по вопросу? В итоге получаем 20 вариантов ответов с дополнительными аспектами и информацией. На основе этого составляется следующий опросник.

- улучшенный опросник вновь рассылается экспертам, которым теперь надо дать свой вариант решения, а также рассмотреть наиболее крайние точки зрения, высказанные другими экспертами. Эксперты должны оценить проблему по аспектам: эффективность, обеспеченность ресурсами, в какой степени соответствует изначальной постановке задачи. Таким образом выявляются преобладающие суждения экспертов, сближаются их точки зрения. Всех экспертов знакомят с доводами тех, чьи суждения сильно выбиваются из общего русла. После этого все эксперты могут менять мнение, а процедура повторяется.

- итерации повторяются, пока не будет достигнута согласованность между экспертами, или не будет установлено отсутствие единого мнения по проблеме. Изучение причин расхождений в оценках экспертов позволяет выявить незамеченные ранее аспекты проблемы и зафиксировать внимание на вероятных последствиях развития анализируемой проблемы или ситуации. В соответствии с этим и вырабатывается окончательная оценка и практические рекомендации. Обычно проводится три этапа, но если мнения сильно разнятся - то больше.

3. Аналитический:

- проверка согласованности мнений экспертов, анализ полученных выводов и разработка конечных рекомендаций