Метод экспертных оценок

Основная идея и сущность метода заключается в построении рациональной процедуры интуитивно-логического мышления человека в сочетании с количественными методами оценки и обработки полученных результатов. При этом обобщенное мнение экспертов, основанное на профессиональном, научном или практическом знании, принимается как решение проблемы.

Организация процедуры экспертной оценки включает:

– формулирование целей экспертизы;

– разработка анкет опроса экспертов;

– формирование группы специалистов-аналитиков по исследуемой проблеме;

– формирование репрезентативной экспертной группы;

– подготовка и проведение экспертизы;

– статистическая обработка полученных результатов опроса экспертов;

– выработка рекомендаций.

При формировании экспертной группы основной проблемой является количественный и качественный состав группы. Отбор экспертов начинается с определения вопросов, которые охватывают решение данной проблемы. После этого составляются списки специалистов, компетентных в данной области. Достоверность экспертной оценки зависит от многих факторов. К ним относят: а) общее количество привлекаемых специалистов; б) удельный вес специалистов разного профиля; в) характеристика специалистов (компетентность, креативность, отношение к экспертизе, конформизм, аналитичность и широта мышления, конструктивизм мышления, коллективизм, самокритичность и т. д.). Оптимальный состав группы, позволяющий получить достоверную оценку, определить сложно. Существует подход, в соответствии с которым устанавливается максимальная и минимальная численность группы.

При формировании размеров группы исходят из двух критериев: а) высокого уровня средней компетентности группы, б) стабилизации средней оценки прогнозируемой характеристики.

Группа формируется путем последовательного исключения малокомпетентных экспертов, основываясь на заданной величине допустимого отклонения значения компетентности эксперта от максимального. Компетентность экспертов может определяться путем самооценки экспертов по данной проблеме или на основе опроса специалистов, которые указывают наиболее квалифицированных профессионалов. Качественные характеристики экспертов выявляются на основе подробного статистического анализа экспертных заключений для того, чтобы устранить слишком большие расхождения мнений специалистов.

Для оценки степени согласованности мнений экспертов может использоваться дисперсия оценок, среднеквадратичное отклонение оценок, а на этой основе – коэффициент вариации оценок. Чем меньше значение этого коэффициента, тем выше согласованность мнений экспертов.

Процедура проведения экспертизы может быть различной. Обычно она включает три этапа. На первом этапе эксперты привлекаются для уточнения формализованной модели объекта прогноза, формулировки вопросов для опроса. Второй этап – осуществление экспертизы. Третий – предварительная обработка полученных результатов, привлечение экспертов для консультаций по недостающей информации и окончательное формирование прогноза, обработка результатов экспертных оценок.

В зависимости от организации экспертизы и формы опроса экспертов различают индивидуальные и коллективные методы экспертных оценок. Независимо от метода экспертизы существуют определенные правила проведения опросов экспертов:

– независимость экспертов друг от друга при формулировании своих оценок по каждому событию;

– удобство работы экспертов с анкетами;

– предоставление каждому эксперту достаточного времени, чтобы обдумать ответ;

– гарантия анонимности ответа при желании эксперта;

– транзитивность экспертных оценок;

– аддитивность экспертных оценок, т. е. возможность осуществлять операции над ними при обработке результатов;

– предоставление возможности последующего коллективного обсуждения полученных результатов.

Существуют следующие индивидуальные методы экспертных оценок.

Метод интервью предполагает беседу прогнозиста с экспертом по заранее подготовленной совокупности вопросов. Преимущества данного метода в возможности максимального использования индивидуальных способностей эксперта. Но успех зависит от способности эксперта давать заключение по предлагаемым вопросам. Недостатком считается ограниченность эксперта в смежных областях знаний, в результате чего данный метод не применим при прогнозировании сложных социально-экономических проблем.

Аналитический метод предполагает логический анализ экспертом какой-либо ситуации. Эксперт самостоятельно работает над анализом тенденций, оценкой состояния проблемы и путей ее развития на основе имеющейся информации. Выводы оформляются в виде докладной записки. Данный метод в наибольшей степени использует индивидуальные способности эксперта, глубокое осмысление изучаемой проблемы, но имеет сложность в применении для прогноза сложных систем из-за ограниченности знаний одного эксперта.

Метод написания сценария основан на определении логики процесса или явления при различных условиях. Это метод, с помощью которого эксперт пытается установить логическую последовательность событий на основе имеющейся информации о прогнозируемом объекте, чтобы показать, как, исходя из существующей ситуации, может развертываться будущее состояние. В сценарии отражаются возможные варианты развития событий, необходимая последовательность решения задач, возможные препятствия и проблемы. При написании сценария может принимать участие группа специалистов. Сценарий в готовом виде может подвергаться анализу.

Коллективные методы экспертных оценок основываются на выявлении коллективного мнения экспертов о перспективах развития объекта прогнозирования. Эта группа методов основана на том, что при коллективном мышлении выше точность результатов и возможно появление новых подходов к решению проблемы.

Выделяют следующие коллективные методы.

Метод комиссии – обсуждение проблемы за «круглым столом». При использовании данного метода следует придерживаться следующих правил: а) формулировать проблему в основных терминах, выделив единственный центральный пункт; б) расчленять сложную проблему на четко выраженные узкие задачи; в) не объявлять ложной и не прекращать исследовать ни одну идею; г) предоставлять слово прежде всего тем, у кого идея возникла по ассоциации с предыдущим высказыванием; д) не оценивать заранее значение идей, подхватывать идею любого рода, даже если ее существование кажется в данное время сомнительной; е) оказывать поддержку и поощрение всем, чтобы освободить участников от скованности.

Метод коллективной генерации идей (мозговой атаки) состоит в использовании специалистов при решении проблемной ситуации, реализующей вначале генерацию идеи, а затем деструктурирование (разрушение) этих идей с формированием контридей и выработки согласованной точки зрения. Метод предполагает ряд этапов: а) формирование группы экспертов в 10-15 человек; б) составление проблемной записки; в) генерация идей (рекомендуемая продолжительность от 20 минут до 1 часа), в течение которой запрещается критика любой предложенной идеи; г) систематизация идей; д) деструктурирование идей; е) оценка критических замечаний и составление списка практически реализуемых идей.

Метод «635» – это одна из разновидностей метода мозговой атаки. Принимает участие 6 экспертов, каждый из которых должен выдвинуть 3 идеи в течение 5 минут. Лист, на котором каждый эксперт записывает идеи, движется по кругу. В результате этого каждый эксперт запишет 18 идей на шести листах в течение тридцати минут. В общей сложности получается 108 идей, которые затем обобщаются и рассматриваются с целью выбора практически реализуемых предложений.

Недостатками коллективных методов является возможность в ходе обсуждения дезинформации; давление на группу активного меньшинства, ведущего или авторитета; достижение согласия в группе; заинтересованность в определенном результате; предубеждения.

Чтобы устранить эти недостатки, используется метод Дельфи, при котором делается попытка устранить вмешательство психологических факторов, способных снизить ценность обсуждения. Особенностями данного метода являются:

– анонимность экспертов, т. к. существует полный отказ от личных контактов экспертов и коллективных обсуждений;

– многотуровая процедура опроса экспертов;

– обеспечение экспертов информацией, включая обмен информацией после каждого тура опроса при сохранении анонимности оценок, аргументации и критики;

–обоснование экспертами своих оценок и суждений, отличающихся от мнения большинства;

– обоснование ответов экспертов по запросу организаторов исследования.

В настоящее время данный метод применяется по широкому спектру проблем: сбор текущей и прошлой информации, которой вообще нет или она крайне недостоверна; проверка существенности событий прошлого; оценка возможных вариантов распределения бюджетных средств; принятие решений в сфере городского и регионального планирования; формирование структуры моделей и т. д.

Дерево целей предполагает выделение нескольких структурных или иерархических уровней. Каждая цель верхнего уровня должна быть представлена в виде подцелей следующего уровня таким образом, чтобы объединение понятий подцелей полностью определяло понятие исходной цели.

Метод морфологического анализа предполагает выбор наиболее приемлемого решения проблемы из числа возможных. Его целесообразно использовать при прогнозировании фундаментальных исследований. Метод морфологического анализа включает ряд приемов, предполагающих систематизированное рассмотрение характеристик объекта. Исследование проводится по методу «морфологического ящика», который строится в виде дерева целей или матрицы, в клетки которой вписаны соответствующие параметры. Последовательное соединение параметра первого уровня с одним из параметров последующих уровней представляет собой возможное решение проблемы. Общее количество возможных решений равно произведению числа всех параметров, представленных в «ящике», взятых по строкам. Путем перестановок и различных сочетаний можно выработать вероятностные характеристики объектов.