Практическое использование методов экспертных оценок

Проблемы, для решения которых приходится применять методы экспертных оценок, принято разделять на два класса, каждый из кото­рых придает своеобразную окраску отдельным этапам процедуры ис­пользования этого метода.

Проблемы первого класса характеризуются тем, что о них в целом имеется достаточная информация, но она может носить качественный характер или их решение требует учета многих критериев, что вызыва­ет необходимость привлечения экспертов.

Основные задачи, которые в данном случае приходится решать при использовании методов экспертных оценок первого класса, состоят в поиске хороших экспертов и правильной организации процедуры экс­пертизы.

Проблемы, составляющие второй класс, не характеризуются доста­точным информационным потенциалом. К ним относятся проблемы, возникающие при решении большинства задач прогнозирования. Обра­ботка мнений экспертов для получения обобщенных оценок не может состоять в простом усреднении индивидуальных оценок. Ведь может оказаться, что мнение какого-либо эксперта, плохо сочетающееся со «среднеарифметическим» мнением, окажется истинным. Поэтому важ­нейшую роль здесь приобретают процедуры качественной обработки оценок экспертов.

Методы экспертных оценок применяют в рамках определенной процедуры, этапы которой нацелены на решение тех или иных вопро­сов организации экспертизы. Процедура проведения экспертизы состо­ит в следующем:

7. на первом этапе создается группа управления, назначается ее руководитель и разрабатывается руководящий документ экспер­тизы;

8. на втором этапе осуществляется подбор и формирование экс­пертной группы;

9. на третьем этапе проводится разработка способа организации и методики проведения опроса экспертов;

10.на четвертом этапе определяется способ организации и мето­дики обработки данных опроса экспертов, цель обработки — получе­ние обобщенных данных и новой информации, содержащейся в скры­той форме в экспертных оценках. На основе результатов обработки формируется решение проблемы;

— пятый и шестой этапы — это проведение опроса и обработка его результатов, включающая их анализ, утверждение и оформление в виде отчета.

Использование методов экспертных оценок не ограничивается про­гнозированием развития социально-экономических явлений. Эти мето­ды можно использовать, например, в педагогике для решения следую­щих задач:

а) анализ сложных педагогических процессов, характеризующихся в основном качественными, неформализуемыми признаками;

б) прогнозирование развития отрасли знания, процессов обучения и воспитания и их взаимодействие с внешней средой;

в) оценка альтернативных решений и выделение наиболее предпоч­тительных вариантов организации учебно-воспитательного процесса.

Индивидуальная экспертная оценка используется для изучения лич­ности учащихся, рецензирования учебной и методической литературы, оценки качества знаний учащихся. Она включает беседу исследователя с экспертом, который отвечает на заранее сформулированные вопросы или анкету.

Метод групповых экспертных оценок может быть использован при выборе оптимальной структуры учебного материала, поуроч­ном и тематическом планировании, отборе дидактического мате­риала для различных видов занятий, для оценки качества препода­вания, при формировании обобщенных, характеристик ученических коллективов.

М е т о д и к а о б р а б о т к и р е з у л ь т а т о в

э к с п е р т н о г о о п р о ­с а.

Для обработки количественных экспертных оценок используются статистические методы и рассчитываются показатели среднего значе­ния и разброса вариационного ряда экспертных оценок. Показатели разброса служат базой для расчета степени согласованности мнений экспертов, надежности экспертов. При регулярном привлечении экс­пертов или возможности сравнения оценок с фактическими значения­ми исследуемых параметров показатели разброса могут быть использо­ваны и для вычисления точности и надежности оценок.

Бывают такие ситуации, когда мнения экспертов расходятся. В основе идей согласования мнений экспертов лежит утверждение, по меньшей мере спорное, о том, что согласованное мнение многих людей достовернее, чем мнение одного человека. В простых вопро­сах, вероятно, подобная гипотеза близка к истине, но в сложных си­туациях применять ее опасно. Особенно это касается научно-техни­ческих прогнозов. Надо просто считаться с тем, что у экспертов мнения расходятся, и фиксировать существование неопределенности суждений и оценок. Экспертизы и прогнозы нужны не сами по себе, а для принятия определенных решений. Таким образом, используя экспертные оценки, можно поставить типичные задачи принятия ре­шений в условиях неопределенности. Опираясь на традиционные идеи оценки результатов экспертного опроса, предложен новый тео­ретико-игровой подход к обработке результатов экспертиз в услови­ях рассогласованности мнений экспертов. Этот подход целесообраз­но использовать в условиях существования разовой информации для получения усредненной оценки, максимально надежной в рамках имеющейся информации.

О б щ и е н е д о с т а т к и м е т о д о в э к с п е р т н ы х

о ц е н о к (кроме метода «Дельфи»):

— часть специалистов экспертной группы или даже один наибо­лее активный член группы могут оказывать давление на всех членов, и, если такое мнение ошибочно, может быть получен неправильный прогноз;

— в отдельных случаях на решения членов экспертной группы мо­жет оказать отрицательное влияние не глубина доводов, а количество замечаний «за» и «против»;

— возможно также, что проблема достижения соглашения между членами экспертной группы будет иметь более важное значение, чем тщательно разработанный прогноз.

Спектр экспертных методов, используемых в прогнозировании, достаточно широк. Используются такие традиционные методы, как собственно индивидуальные оценки руководителей прогнозных раз­работок, групповые оценки коллектива разработчиков, групповые оценки, уточненные при консультациях у специалистов, оценки, подтвержденные ответами от научно-исследовательских и других компетентных организаций, полученные в результате официальных запросов.

Вопросы для самоконтроля

1. Какого класса задачи требуют применения экспертных оценок?

2. Какими основными недостатками обладает группа индивидуальных экс­пертных оценок?

3. Какие методы можно отнести к аналитическому?

4. Какими правилами надо руководствоваться при проведении «мозгового штурма»?

Раскройте суть каждого из этапов метода «Дельфи».