Метод экспертных оценок

Метод экспертных оценок в последнее время получил большое распространение в исследовании управления социально-экономическими системами и процессами.

Экспертные оценки – это количественные и качественные (обычно в баллах или порядковых номерах, рейтингах) оценки процессов и явлений, экономических величин, показателей, выполняемые экспертами на основе суждений. Чаше всего к таким оценкам приходится прибегать, когда анализируемая величина не поддается непосредственному измерению, учету.

Использование экспертных методов целесообразно только в задачах особого класса, характеризующихся наличием одного из двух условий:

– задача не может быть решена никаким другим существующим способом. Например, в настоящее время еще не существует каких-либо (не являющихся экспертными) способов, с помощью которых было бы возможно достаточно надежно и точно оценивать эстетическую привлекательность внешнего вида произведений прикладного искусства, архитектуры или дизайна;

– другие методы, кроме экспертных, являются менее точными или более трудоемкими.

Эксперты – лица, обладающие глубокими знаниями о предмете или объекте исследования.

Экспертиза – это мнение, основанное на реализации опыта специалиста, его глубокого знания предмета исследования, с применением технологии качественного анализа.

1. Существует прямая экспертиза, при которой вопросы задаются непосредственно экспертам, и косвенная, при которой ответы на вопросы определяют в ходе обработки других ответов. Косвенные экспертные методы предпочтительнее для исследования сложных вопросов, несмотря на то что их обработка более сложна и трудоемка.

2. В зависимости от типа вопросов бывает оценочная и ситуационная экспертизы.

Оценочная предполагает в заключение экспертизы получение результата экспертной оценки, выраженной в естественной или какой-либо специально придуманной шкале. Таким образом, здесь человек выступает в роли «измерительного прибора».

Ситуационная экспертиза основывается на советах специалиста, построенных на базе его формализованного опыта и знаний. Реальный эксперт, обладающий достаточными знаниями о своей предметной области, обычно уверенно справляется с обеими ролями, а практическая экспертиза часто включает в себя как оценочные, так и ситуационные аспекты.

3. Различают индивидуальную и групповую экспертные оценки.

Методы получения индивидуального мнения членов экспертной группы основаны на предварительном получении информации от экспертов, опрашиваемых независимо друг от друга, с последующей обработкой полученных данных. К этим методам можно отнести методы анкетного опроса, интервью и метод Дельфи. Основные преимущества метода индивидуального экспертного оценивания состоят в его оперативности, возможности в полной мере использовать индивидуальные способности эксперта, отсутствии давления со стороны авторитетов и в низких затратах на экспертизу. Главным их недостатком является высокая степень субъективности получаемых оценок из-за ограниченности знаний одного эксперта.

Методы групповой работы экспертной группы предполагают получение общего мнения в ходе совместного обсуждения проблемы исследования. Иногда эти методы называют методами прямого получения коллективного мнения. Основное преимущество этих методов заключается в возможности разностороннего анализа проблем. Недостатками методов является сложность процедуры получения информации, сложность формирования группового мнения по индивидуальным суждениям экспертов, возможность давления авторитетов в группе.

К методам коллективной работы относят методы мозгового штурма, метод сценариев, деловых игр, совещаний, групповые дискуссии и др.

При использовании экспертных оценок предполагается, что мнение группы экспертов надежнее, чем мнение отдельного эксперта. Групповая экспертиза предпочтительнее в тех оценочных задачах, когда усреднение мнений многих экспертов позволяет получить более устойчивую оценку. Но при групповой экспертизе бывает трудно получить согласованное групповое мнение и к тому же оно может не удовлетворить многих, а иногда даже всех экспертов.

В связи с этим является важным соблюдение следующих требований:

– распределение оценок от экспертов должно быть гладким;

– две групповые оценки, данные двумя одинаковыми подгруппами экспертов, выбранными случайным образом, должны быть близки.

При групповой экспертизе большое значение имеет подбор группы экспертов и методология итогов обработки результатов их работы. Основными принципами организации работы экспертов выступают [См.: Коротков Э.М. Исследование систем управления / Э.М. Коротков. – М.: ДеКА, 2000]:

– идеи, мнения и оценки должны укладываться в заранее подготовленную схему, что позволяет проводить их анализ, обобщать, сравнивать и т.д.;

– при обработке экспертных заключений важно применять не только количественное обобщение, но и качественный анализ, выделяя главное, существенное, важное, актуальное, оригинальное, новое и пр. Заключение экспертов может быть предметом экспертизы второго этапа;

– эксперты должны быть независимыми, т. е. не заинтересованы в определенном результате оценки. Только в этом случае наилучшим образом реализуются их опыт, знания и интуиция;

– работа экспертной группы должна быть целенаправленной. Понимание, зачем и почему проводится экспертиза, является важным элементом ее проведения. Во многих случаях необходима специальная подготовка экспертов, которая играет роль мобилизации усилий и интеллекта;

– необходимо применять различные формы организации работы экспертной группы: либо каждый эксперт делает экспертизу индивидуально, потом результаты суммируются и систематизируются, либо эксперты работают коллективно, взаимодействуя друг с другом;

– в некоторых исследованиях необходима параллельная и многоэтапная работа нескольких экспертных групп, что позволяет на основе сопоставления экспертиз получить важную информацию.

Экспертиза осуществляется, как правило, посредством следующих этапов:

1) формирование цели;

2) разработка процедуры экспертизы;

3) формирование группы экспертов;

4) опрос;

5) обработка результатов;

6) анализ.

К числу наиболее распространенных видов представления экспертной информации относятся: ранжирование, парное сравнение, множественное сравнение, непосредственная оценка, введение коэффициентов предпочтительности, последовательное сравнение, вероятностное сравнение.

Целесообразность применения того или иного представления во многом определяется характером анализируемой информации. Если оправданны лишь качественные оценки объектов по некоторым качественным признакам, то используются методы ранжирования, парного и множественного сравнения. Если целесообразно получить количественные оценки, то можно использовать, например, непосредственную оценку.

Метод экспертных оценок широко используется для получения предварительных сведений об объекте, предмете анализа, для уточнения гипотез и задач основного исследования, для определения условий проведения эксперимента и при оценке его эффективности.

Существует несколько основных областей применения экспертных оценок в исследовании социально-экономических систем и процессов:

– оптимизация управленческих решений;

– прогнозирование;

– оценка качества различных объектов и главным образом оценка качества продукции, услуг.

В связи с этим в исследовании систем управления большое распространение получили такие методы экспертных оценок, как метод мозгового штурма, SWOT-анализ, метод Дельфи и др.