Коллективные экспертные оценки

Методы коллективных экспертных оценокимеют следующие разновидности: метод «комиссий» или метод «круглого стола»; «метод Дельфы»; метод «коллективной генерации идей» («мозговая атака»); метод «дерева целей»; метод морфологического анализа и др.

Метод «комиссий» («круглого стола»). В данном случае назначается или выбирается комиссия, которая наделяется правом предварительного или окончательного заключения, т.е. комиссия организует «круглый стол», в рамках которого будут согласовываться мнения экспертов с целью выработки единого мнения.

Наряду со сравнительно быстрым решением проблемы этот метод имеет существенный недостаток, заключающийся в том, что эксперты заранее ориентированы на компромиссное решение проблемы, а это, в свою очередь, допускает достаточное искажение результатов прогноза.

В 50-х гг. групповой подход к прогнозированию был принципиально доработан, в его основу положили сбор и обработку информации и мнений ученых. Экспертам рассылались анкеты, затем все они обобщались и делались выводы. В результате можно было говорить о сравнительно точном прогнозе. Этот подход получил название метода «Дельфи».

Суть методы «Дельфи» состоит в проведении анкетных опросов экспертов. В отличие от других методов он имеет ряд особенностей:

- полная анонимность экспертов;

- многотуровая процедура опроса экспертов посредством их анкетирования;

- обеспечение экспертов информацией после каждого тура опроса, при сохранении анонимности оценок;

- обоснование ответов экспертов по запросу организаторов.

В ходе процедуры прогнозирования эксперты друг друга не знают, между собой не общаются. При использовании результатов предыдущего тура специалист извлекает из анкет только ту информацию, которая относится к поставленной проблеме; не допускается постановка новых задач и новых проблем. Статистическая оценка предполагает усредненную оценку прогноза показателей данной проблемы группой экспертов.

В 1964 г. сотрудники научно-исследовательской корпорации РЭНД (США) О. Хельмер и Т. Гордон полностью компьютеризировали сбор, обработку информации, вследствие чего существенно повысилась точность прогнозов.

Особо тщательно следует продумывать и обосновывать вопросы в анкетах; временной интервал между турами опросов должен быть не более месяца. Необходимо отметить, что мнения экспертов от тура к туру носят устойчивый характер, перестают принципиально изменяться, то это может служить основанием для завершения опроса экспертов. В практике опроса по этому методу обычно применяется три – четыре тура, т.е. это означает, что опрос следует повторять до сравнительно полного совпадения мнений экспертов или до минимального диапазона разброса мнений.

Рассмотрим пример оценки ожидаемого уровня инфляции на будущий период. В первом туре проводится опрос каждого эксперта. Эксперты дают оценки ожидаемого уровня инфляции. Затем экспертов знакомят со средним значением и размахом, то есть разницей между крайними значениями оценок или со всей совокупностью полученных оценок, сохраняя их анонимность. После этого проводят вторичный анонимный опрос, перед которым экспертов, чьи оценки сильно отклоняются от среднего значения, просят пересмотреть свои оценки, а также аргументировать их.

В третьем туре экспертов знакомят с результатами второго тура, включая и аргументы крайних значений оценок, зафиксированные уменьшения или увеличения значений оценок; анонимность авторов сохраняется. Экспертов просят рассмотреть новые оценки и их обоснование, высказать свои сомнения, пересмотреть свои предыдущие оценки. Если в третьем туре не достигается удовлетворительная согласованность оценок, то допустимо аналогичное проведение четвёртого тура опроса. Обычно требуемый уровень согласованности достигается за два тура.

Метод «Дельфы» при значительных преимуществах перед другими экспертными методами имеет и ряд недостатков. Известно, что организаторы опроса стремятся избежать принятия групповых решений. Вместе с тем в группе экспертов невольно появляются лидеры («уважаемые люди»), которых другие эксперты имеют склонность поддерживать. Такое явление в последнее время называют «эффектом золы». Надо всячески стремиться избежать этого «эффекта». К другим недостаткам относятся больший цикл многотуровой экспертизы: опасность поверхностного, несистемного анализа экономического явления; отсутствие открытой дискуссии; исключение неожиданных, новых подходов к проблеме и др.

Метод «мозговой атаки» («мозгового штурма») или коллективной генерации идей имеет целью получить коллективную генерацию идей и творческое решение поставленной проблемы и определить возможные варианты развития событий. Для этого формируется сеть (группа) экспертов во главе с ведущим. Оптимальным составом считается группа из 6 – 12 человек. Если в состав группы входят участники одного ранга, то допускается знание экспертами друг друга. Если группа формируется из экспертов разного ранга, то желательно, чтобы они не были между собой знакомы, т.е. им просто присваиваются номера.

При проведении экспертного опроса на заседании экспертов должна быть охарактеризована проблема и выделен центральный вопрос. Все идеи, оценки, предложения фиксируются, запрещается любая критика и поощряется свободная интерпретация идей в рамках данного вопроса. Ведущий только в самом начале «мозговой атаки» активно обращает внимание экспертов на основной вопрос решаемой проблемы, помогает сконцентрировать выдвижение идей, далее его роль становится пассивной, так как появляется стадия спонтанного выдвижения принципиально новых идей. Задача ведущего – всячески стимулировать рабочий процесс, создавать непринуждённую обстановку, записывать высказывания на магнитофон для последующего их анализа и систематизации.

Организаторы должны стремиться к получению максимального количества идей, поощрять различные комбинации идей и путей их усовершенствования.

При генерации идей эксперты должны выступать многократно, но не подряд. Их выступления должны быть чёткими, сжатыми, без критики предыдущих экспертов. Не разрешается иметь «домашние заготовки» по спискам идей. При использовании данного метода продолжительность работы экспертов от 20 минут до 1 часа.

Результаты этого метода представляют систему идей, которая считается плодом коллективного труда всей группы. С помощью метода коллективной генерации идей можно успешно решать многие задачи, например:

– определить возможные пути развития процесса, выявлять наиболее полный набор этих путей;

– определить факторы, которые необходимо принимать во внимание при планировании.

Коллективная генерация идей приводит к получению избытка информации, включающей как чрезвычайно ценные, так и общеизвестные и даже ошибочные предложения. Важнейшим элементом метода является квалификационный анализ стенограмм и других материалов «мозговых штурмов». Работа по методу коллективной генерации идей может включать несколько туров и продолжаться несколько дней. Неквалифицированные попытки применения метода, подобные организации дискуссий на оперативных совещаниях, не могут приводить к результатам, получаемым методом «мозгового штурма».

В целом метода коллективных экспертных оценок основаны на том, что при коллективном мышлении, во-первых, выше точность результата и, во-вторых, при обработке индивидуальных независимых оценок, выносимых экспертами, могут возникнуть продуктивные идеи.

Проведение экспертных опросов обычно включает несколько этапов. Исходя из целей опроса, решаются вопросы относительно структуры группы, устанавливается специализация экспертов и определяется их количество. По каждому направлению выделяются подгруппы экспертов, устанавливается количество экспертов в каждой подгруппе, которое должно обеспечивать полноту оценок по каждому конкретному вопросу. Затем определяются требования квалификации экспертов, стажа их работы в данной области, общего стажа.

На практике численность экспертов устанавливается исходя из накопленного опыта. Для повышения статистической значимости оценок используют ранговые или балльные оценки. Например, вместо оценок длительности выполнения проекта оценивают в баллах возможность его завершения к определённому сроку.

Нижняя оценка численности групп экспертов зависит от числа направлений оцениваемых событий. По каждому направлению в группе не должно быть менее 3 – 6 экспертов, причём каждое направление должно быть представлено равным числом экспертов.

Правила опроса экспертов должны обеспечивать объективность мнений экспертов. К числу условий, обеспечивающих формирование объективных оценок, следует отнести:

– предоставление экспертам требуемой информации;

– простота и удобство работы с предлагаемыми анкетами, обеспечиваемая прежде всего однозначностью вопросов;

– соответствие вопросов структуре объекта опроса;

– независимость формирования экспертами собственного мнения;

– приемлемые затраты времени, удобное время получения вопросов и выдачи ответов;

– сохранение анонимности ответов для членов экспертной группы;

– коллективные обсуждения оцениваемых событий.

Для выполнения этих условий должны быть разработаны правила организации работы экспертной группы. Экспертные группы для работы на основе специальных методов, таких как «мозговая атака», «Дельфи», и им подобных, а также организаторы и обслуживающий персонал должны пройти специальную подготовку.

Групповая оценка каждого объекта зависит от оценок экспертами этого объекта и степени компетентности экспертов. Степень компетентности эксперта определяют его опыт и квалификация.

При равной компетентности экспертов в качестве групповой оценки используют среднеарифметическое значение оценок экспертов. Точность оценки может быть определена по величине её стандартного отклонения.

Оценки в зависимости от специфики экспертного опроса могут иметь различную шкалу измерения: от 0 до1, от 0 до 10 и от 0 до 100. Выбор определяется удобством получения и обработки оценок.

Для учёта различий в компетентности экспертов их оценкам могут быть приписаны различные «веса», которые учитываются весовыми коэффициентами. Значения этих коэффициентов интерпретируются как вероятность задания экспертом достоверной оценки и должны иметь величину от 0 до 1. Значения весовых коэффициентов могут быть использованы, кроме того, для стимулирования работы экспертов путем установления оплаты участия в экспертизе пропорционально весовому коэффициенту эксперта.

Существуют различные приёмы оценки компетентности эксперта, выбор которых определяется как характером решаемой задачи, так и возможностями проведения конкретного экспертного опроса.

Опыт показывает, что наиболее эффективно компетентность оценивается с помощью регламентированной самооценки экспертов. Показатель самооценки получают на основе группы вопросов. Например, эксперту предлагается проставить себе балл по десятибалльной шкале, ориентируясь на следующие значения баллов:

– 10 – эксперт специализируется по данному вопросу, имеет по нему успешно завершённые и используемые на практике теоретические разработки и практический опыт;

– 8 – в решении проблем по данному вопросу эксперт участвует, но этот вопрос не входит в сферу его узкой специализации;

– 5 – вопрос входит в сферу, тесно связанную с узкой специализацией эксперта, но в работе, связанной с данным вопросом, он не участвует;

– 3 – вопрос не входит в сферу, тесно связанную с узкой специализацией эксперта.

По полученной в десятибалльной шкале оценке определяется весовой коэффициент путём деления её на десять баллов.

Компетентность экспертов может быть определена экспертами в группе. Для этого каждый эксперт, входящий в группу, задаёт весовые коэффициенты всем остальным экспертам, кроме себя. Оценка компетентности каждого эксперта определяется как среднеарифметическая. При каждом опросе одной и той же группы следует пользоваться уже полученными результатами для уточнения характеристик компетентности экспертов.

Работа с экспертами может проводиться в три этапа. На первом этапе эксперты участвуют в уточнении объекта экспертизы (процесс работы экспертов обычно называют экспертизой), показателей, подлежащих оценке, в формулировке вопросов и терминологии в анкетах, кроме того, уточняется состав группы экспертов.

На втором этапе экспертам передаются анкеты с пояснительной запиской, в которой описываются цель экспертизы, структура и порядок заполнения анкет с примерами.

Третий этап работы с экспертами, выполненный после завершения опроса, то есть в процессе обработки и анализа полученных результатов, включает консультации, необходимые для получения недостающей информации, необходимой для уточнения полученных данных и их анализа.

При проведении экспертных оценок в соответствии с целями исследования и принятыми моделями необходимо определить согласованность действий экспертов, достоверность экспертных оценок.

Определить согласованность оценок, которые даются разными экспертами, можно с помощью непараметрического двухфакторного дисперсионного анализа. При проведении анализа в качестве первого фактора рассматриваются эксперты, в качестве второго фактора – объекты, оцениваемые экспертами. Уровни первого фактора – это разные эксперты, а уровни второго фактора – разные объекта.

Согласованность оценок экспертов определяется по отсутствию влияния фактора, связанного с экспертами. В распространенных статистических пакетах для этого используют критерий Фридмана (Friedman) и, если есть возможность ранжировать экспертов по величине оценок, – критерий Пейдже (Page). Обычно тестируется гипотеза «есть различия между средними значениями оценкой некоторых экспертов» с оценкой уровня значимости гипотезы. Если уровень значимости гипотезы не превышает 5 или 10%, то можно считать, что оценки экспертов согласованы и достоверны.