Группа должна быть достаточно компетентной, чтобы разрабатывать соответствующие технические рекомендации.

Если некоторые члены группы назначаются из числа лиц, ответственных за проектирование системы, необходимо чтобы эти члены группы имели соответствующие полномочия для внесения определенных изменений.

Группа не должна быть слишком большой, иначе могут возникнуть определенные трудности в принятии решения; численность должна определяться поставленной задачей.

Очень важно, чтобы отношение всей группы в целом к исследованию носило положительный и конструктивный характер, поскольку успех исследования в основном зависит от творческого мышления членов группы. Это положительное отношение должно формироваться на самых ранних этапах исследования. Соответствующее обучение может оказать большую помощь в создании благоприятного психологического микроклимата при работе, требующей тщательного анализа, объективности и ответственности.

Характеристики группы экспертов определяются на основе индивидуальных характеристик экспертов: компетентности, креативности, отношения к экспертизе, конформизма, конструктивности мышления, коллективизма, самокритичности, протокольности мышления.

В настоящее время перечисленные характеристики в основном оцениваются качественно. Для ряда характеристик имеются приближенные количественные оценки.

Компетентность - степень квалификации экспертов в определенной области знаний. Компетентность может быть определена на основе анализа деятельности специалиста, уровня и широты знакомства с достижениями науки и техники, понимания исследуемых проблем, возможных путей их развития.

Для количественной оценки уровня компетентности используется коэффициент компетентности, с учетом которого взвешивается мнение эксперта. Этот коэффициент определяется по априорным и апостериорным данным. При использовании априорных данных оценка коэффициента компетентности производится до проведения экспертизы на основе самооценки эксперта и взаимной оценки других экспертов. При использовании апостериорных данных оценка коэффициента компетентности производится на основе обработки результатов экспертизы.

Из множества методик определения коэффициента компетентности по априорным данным наиболее простой является методика оценки относительных коэффициентов компетентности по результатам высказывания специалистов о составе экспертной группы. Сущность этой методики заключается в следующем. Ряду специалистов предлагается высказать суждение о включении лиц в экспертную группу для решения определенной проблемы. Если в этот список попадают лица, не вошедшие в первоначальный список, то им также предлагается назвать специалистов для участия в экспертизе. Проведя несколько туров такого опроса, можно составить достаточно полный список кандидатов в эксперты. По результатам проведенного опроса составляется матрица, в ячейках которых проставляется переменная xij, равная

Причем каждый эксперт может включать или не включать себя в экспертную группу. По данным матрицы вычисляются коэффициенты компетентности как относительные веса экспертов по формуле

,

где ki - коэффициент компетентности i-го эксперта, m - количество экспертов (размерность матрицы ((xij((). Коэффициенты компетентности нормированы так, что их сумма равна единице: .

Содержательный смысл коэффициентов компетентности, вычисленных по данным таблицы матрицы ((xij((, состоит в том, что подсчитывается сумма единиц (число "голосов"), поданных за i-го эксперта, и делится на общую сумму всех единиц. Таким образом, коэффициент компетентности определяется как относительное число экспертов, высказавшихся за включение i-го эксперта в список экспертной группы.

Креативность - это способность решать творческие задачи. В настоящее время, кроме качественных суждений, основанных на изучении деятельности экспертов, нет каких-либо предложений по оценке этой характеристики.

Конформизм - это подверженность влиянию авторитетов. Особенно сильно конформизм может проявиться при проведении экспертизы в виде открытых дискуссий. Мнение авторитетов подавляет мнение лиц, обладающих высокой степенью конформизма.

Отношение к экспертизе является очень важной характеристикой качества эксперта при решении проблемы. Негативное или пассивное отношение специалиста к решению проблемы, большая занятость и другие факторы существенно сказываются на выполнении экспертами своих функций. Поэтому участие в экспертизе должно рассматриваться как плановая работа.

Конструктивность мышления - это прагматический аспект мышления. Эксперт должен давать решение, обладающее свойством практичности. Учет реальных возможностей решения проблемы очень важен при проведении экспертного оценивания.

Коллективизм должен учитываться при проведении открытых дискуссий. Этика поведения человека в коллективе во многих случаях существенно влияет на создание положительного психологического климата и тем самым определяет успешность решения проблемы.

Самокритичность эксперта проявляется при самооценке степени своей компетентности, а также при принятии решения по рассматриваемой проблеме.

Протокольность мышления - способность к качественной и количественной точности в отображении явлений, не зависящая от психического состояния и настроения исследователя.

Перечисленные характеристики эксперта достаточно описывают необходимые качества, которые влияют на результаты экспертизы. Однако их анализ требует кропотливой и трудоемкой работы по сбору информации и ее изучению. Кроме того, как правило, часть характеристик эксперта оценивается положительно, а часть - отрицательно. Возникает проблема согласования характеристик и выбора экспертов с учетом противоречивости их качеств. Причем чем больше характеристик принимается во внимание, тем труднее принять решение о том, что важнее и что допустимо для эксперта. Для устранения указанной трудности необходимо сформулировать обобщенную характеристику эксперта, учитывающую его важнейшие качества, с одной стороны, и допускающую непосредственное ее измерение, с другой стороны. В качестве такой характеристики можно принять достоверность суждений эксперта, которая определяет его как "измерительный прибор". Однако применение такой обобщенной характеристики требует информации о прошлом опыте участия эксперта в решении проблем. В ряде случаев такой информации может не быть. Достоверность оценок эксперта количественно оценивают по формуле , где Ni - число случаев, когда i-й эксперт дал решение, приемлемость которого подтвердилась практикой, N - общее число случаев участия i-го эксперта в решении проблемы.

Вклад каждого эксперта в достоверность оценок всей группы определяется по формуле , где m - число экспертов в группе. В знаменателе стоит средняя достоверность группы экспертов.

ЭКСПЕРТНЫЕ ОЦЕНКИ

В случае ограниченных возможностей применения точных математических методов из-за отсутствия достаточно точной статистической и другой информации о надежностных показателях и технических характеристиках системы, а также надежных математических моделей, описывающих реальное состояние системы, экспертные оценки являются единственным средством решения задач безопасности.

Можно выделить два уровня использования экспертных оценок: качественный и количественный. Применение оценок на качественном уровне (определение возможного развития опасной ситуации из-за отказа системы, выбор окончательного варианта решения и др.) не вызывает сомнения. Возможность применения количественных, балльных экспертных оценок нередко оспаривается, а результаты подвергаются сомнению. При этом справедливо отмечается, что количественные или балльные оценки нередко скрывают неумение квалифицированно, на научной основе оценивать те или иные состояния, явления, пути развития ситуации. Очень часто выбор групповых решений на основе оценок отдельных экспертов проводится без анализа правомерности получения такого решения. Кроме того, в большинстве методик экспертных опросов не уделяется достаточно внимания обоснованию выбранной схемы интегрирования оценок, полученных на основе использования нескольких критериев, по которым ведется оценка состояния исследуемого объекта.

Ввиду отмеченного, применение экспертных оценок требует анализа их объективности и надежности. С одной стороны, нет гарантий, что полученные оценки достоверны, а с другой - существуют значительные трудности при проведении опроса экспертов и обработке полученных данных. Применяемые способы определения достоверности экспертных оценок основаны на предположении, что при согласовании действий экспертов эта достоверность обеспечена. Однако в ряде случаев эксперты, не согласные с мнением большинства, давали правильные оценки. Это объясняется психологией принятия решений в группе и распределением ответственности.

Следовательно, единодушие большинства экспертов не всегда является критерием достоверности оценок. Отсюда вытекает необходимость тщательного отбора экспертов. Дело в том, что при обсуждении многих вопросов, например определения развития опасной ситуации на предприятии вследствие отказа определенной системы, должны участвовать эксперты высокой квалификации, одного уровня подготовки, знающие цепь всего производства и могущие оценить весьма отдаленные последствия. Прогнозы, составленные "средними" экспертами, будут основаны на знаниях только отдельного вопроса.

Используя экспертные оценки, предполагают, что при решении проблем в условиях неопределенности мнение группы экспертов надежнее, чем мнение отдельного эксперта, т.е. две группы одинаково компетентных экспертов с большей вероятностью дадут аналогичные ответы, чем два эксперта. Предполагается также, что совокупность индивидуальных ответов экспертов должна включать "истинный" ответ.

Зачастую оценки экспертов не обладают достаточной устойчивостью, т.е. эксперт может одни и те же события при нескольких повторных экспертизах оценить по-разному. Чем устойчивее оценки, тем больше можно им доверять. Однако на практике повторная экспертиза вследствие организационных, временных ограничений, финансовых трудностей применяется крайне редко.

При нахождении оценок экспертным путем, помимо погрешности, вызванной недостатком информации о событиях и недостаточной компетентностью экспертов, возможна и погрешность, обусловленная возможной заинтересованностью экспертов в результатах оценки. Такая погрешность может значительно искажать оценки и необходимо заранее предусмотреть меры для ее устранения.

Одним из показателей, характеризующих пригодность эксперта, является степень его надежности, т.е. относительная частота случаев, когда он приписывал более высокую вероятность событиям, которые впоследствии происходили.

ОПРОС ЭКСПЕРТОВ

В практике экспертизы и прогнозирования применяются как индивидуальные, так и групповые (коллективные) экспертные опросы. Основными целями использования индивидуальных экспертных оценок являются:

- прогнозирование развития событий и явлений, а также оценка их значимости в текущем периоде;

- анализ и обобщение результатов, представленных другими экспертами;

- составление сценариев развития ситуации;

- заключение о работе других специалистов или организаций (рецензии, отзывы, экспертизы и т.д.).

Опрос экспертов представляет собой заслушивание и фиксацию в содержательной и количественной форме суждений экспертов по решаемой проблеме. Проведение опросов является основным этапом современной работы групп экспертов. На этом этапе выполняются следующие процедуры:

- решение оганизационно-методических вопросов;

- постановка задачи и предъявление вопросов экспертам;

- информационное обеспечение работы экспертов.

Вид опроса по существу определяет разновидность метода экспертной оценки. Основными видами опроса являются: анкетирование, интервьюирование, метод "Дельфи", мозговой штурм (мозговая атака), дискуссия.

Выбор того или иного вида опроса определяется целями экспертизы, сущностью решаемой проблемы, полнотой и достоверностью исходной информации, располагаемым временем и затратами на проведение опросов. Рассмотрим содержание технологии проведения перечисленных выше опросов.

Анкетирование представляет собой опрос экспертов в письменной форме с помощью анкет. В анкете содержатся вопросы, которые позволяют выяснить существо и аргументацию ответов.

По типу основные вопросы классифицируются на открытые, закрытые и с веером ответов. Открытые вопросы предполагают ответ в произвольной форме. Закрытые вопросы - это такие вопросы, на которые ответ может быть дан в виде "да", "нет", "не знаю". Вопросы с веером ответов предполагают выбор экспертами одного из совокупности предполагаемых ответов.

Открытые вопросы целесообразно применять в случае большой неопределенности проблемы. Этот тип вопросов позволяет широко охватить рассматриваемую проблему, выявить спектр мнений экспертов. Недостатком такого типа вопросов является возможное разнообразие и произвольная форма ответов, что существенно затрудняет обработку анкет.

Закрытые вопросы применяются в случае рассмотрения четко определенных двух альтернативных вариантов, когда требуется по существу определить степень большинства мнений по этим альтернативам. Обработка закрытых вопросов не вызывает каких-либо трудностей.

Вопросы с веером ответов целесообразно использовать при наличии нескольких достаточно определенных альтернативных вариантов. Эти варианты формируются для ориентации экспертов по возможному кругу направлений в решении проблемы. Для получения более детальной информации по каждому вопросу могут быть предложены порядковая и балльная шкалы. Эксперт по каждому ответу выбирает значение порядковой и балльной оценок. Например, значениями порядковой шкалы могут быть "очень хорошо", "хорошо", "удовлетворительно", "неудовлетворительно" или "значительно", "незначительно", "не влияет" и т.п. Обработка анкет с вопросами этого типа по сложности занимает промежуточное место между открытыми и закрытыми вопросами.

Если анкетирование проводится в несколько туров, то целесообразно при большой сложности и неопределенности проблемы вначале использовать открытые типы вопросов, а на последующих турах - с веером ответов и закрытые типы.

Интервьюирование - это устный опрос, проводимый в форме беседы-интервью. Для подготовки беседы опрашивающий разрабатывает вопросы к эксперту. Характерной особенностью этих вопросов является возможность быстрого ответа на них экспертом, поскольку он практически не имеет времени на обдумывание.

Тематика интервью сообщается эксперту заранее, но конкретные вопросы ставятся непосредственно в процессе беседы. Целесообразно в связи с этим готовить последовательность вопросов, начиная от простого и постепенно их углубляя и усложняя, но вместе с тем конкретизируя.

Достоинством этого метода является непрерывный живой контакт с экспертом, что позволяет быстро получить необходимую информацию путем прямых и уточняющих вопросов в зависимости от ответов эксперта.

Недостатками интервью являются возможность сильного влияния опрашивающего лица на ответы экспертов, отсутствие времени для глубокого обдумывания ответов и большие затраты его на опрос всего состава экспертов.

Интервьюер должен хорошо знать анализируемую проблему, уметь четко формулировать вопросы, создать непринужденную обстановку и уметь слушать.

Метод "Дельфи" (название взято из истории Дельфийского оракула при храме Аполлона в г.Дельфы, Древняя Греция). Этот метод (иногда именуется метод "Дельфы") является одним из наилучших методов использования суждения экспертов, предусматривающий проведение опросов в несколько туров. Он представляет собой многотуровую процедуру анкетирования с обработкой и сообщением результатов каждого тура экспертам, работающим инкогнито по отношению друг к другу. Процесс выработки суждений экспертами здесь управляется проводящей опрос рабочей группой через обратную связь.

В первом туре экспертам предлагаются вопросы, на которые они дают ответы без аргументирования. Известные примеры применения метода "Дельфи" связаны с постановкой вопросов, требующих в качестве ответов цифровой оценки параметров. Полученные от экспертов данные обрабатываются с целью выделения среднего или медианы и крайних оценок значений. Экспертам сообщаются результаты обработки первого тура опроса с указанием расположения оценок каждого эксперта. Если оценка эксперта сильно отклоняется от среднего значения, то его просят аргументировать свое мнение или изменить оценку.

Во втором туре эксперты аргументируют или изменяют свою оценку с объяснением причин корректировки. Результаты опроса во втором туре обрабатываются и сообщаются экспертам. Если после первого тура производилась корректировка оценок, то результаты обработки второго тура содержат новые средние и крайние значения оценок экспертов. В случае сильного отклонения своих оценок эксперты должны аргументировать или изменить свои суждения, пояснив причины корректировки.

Проведение последующих туров осуществляется по аналогичной процедуре. Обычно после третьего или четвертого тура оценки экспертов стабилизируются, что служит критерием прекращения дальнейшего опроса.

Итеративная процедура опроса с сообщением результатов обработки после каждого тура обеспечивает лучшее согласование мнений экспертов, поскольку эксперты, давшие сильно отклоняющиеся оценки, вынуждены критически осмыслить свои суждения и обстоятельно их аргументировать. Необходимость аргументации или корректировки своих оценок не означает, что целью экспертизы являются получение полной согласованности мнений экспертов. Конечным результатом может оказаться выявление двух или более групп мнений, отражающих принадлежность экспертов к различным научным школам, ведомствам или категориям лиц. Получение такого результата является также полезным, поскольку позволяет выяснить наличие различных точек зрения и поставить задачу на проведение исследований в данной области.

При проведении опроса сохраняется анонимность ответов экспертов по отношению друг к другу. Это обеспечивает исключение влияния конформизма, т.е. подавления мнений за счет "веса" научного авторитета или должностного положения одних экспертов по отношению к другим.

Исследования эффективности этого метода показали, что по мере проведения туров опроса разброс мнений экспертов уменьшается и групповое мнение в виде медианы индивидуальных оценок становится точнее. Основным фактором повышения точности ответов является итеративная процедура опроса с сообщением результатов обработки экспертам и указанием конкретного места оценки каждого эксперта.

Для повышения эффективности проведения экспертизы по методу "Дельфи" необходимо автоматизировать процесс фиксации, обработки и сообщения экспертам информации.

Мозговой штурм (мозговая атака) представляет собой групповое обсуждение с целью получения новых идей, вариантов решений проблемы. Характерной особенностью этого вида экспертизы является активный творческий поиск принципиально новых решений в трудных тупиковых ситуациях, когда известные пути и способы решения оказываются непригодными. Для поддержания активности и творческой фантазии экспертов категорически запрещается критика их высказываний. Свободные высказывания способствуют коллективной генерации идей. С помощью этого метода можно решать многие важные задачи безопасности, например:

- задачи определения вариантов выбора систем защиты, один из которых является оптимальным;

- задачи, решение которых требует параллельного или последовательного использования ряда разнообразных методов защиты;

- задачи, решение которых требует выявления факторов, учитываемых при определении окончательного решения.

Подобием коллективной генерации идей в практической работе можно считать всякого рода оперативные совещания.

Основные правила организации и методика проведения мозгового штурма заключается в следующем. Осуществляется подбор экспертов в группу до 20-25 человек, в которую включаются специалисты по решаемой проблеме и специалисты с широкой эрудицией и богатой фантазией, причем необязательно хорошо знающие рассматриваемую проблему. Желательно включение в группу лиц, занимающих одинаковое служебное и общественное положение, имеющих одинаковый научный вес, что обеспечивает независимость высказываний.

Для проведения заседания назначается ведущий, основной задачей которого является управление ходом обсуждения для решения поставленной проблемы. Ведущий в начале заседания объясняет содержание и актуальность проблемы, правила ее обсуждения и предлагает для рассмотрения одну-две идеи.

Обсуждение длится час без перерыва. Для выступления предоставляется 2-3 минуты и они могут повторяться. В каждом выступлении эксперты должны стремиться выдвинуть как можно больше новых, может быть, на первый взгляд, фантастических идей или развивать ранее выдвинутые идеи, дополняя и углубляя их. Важным требованием к выступлениям является конструктивный характер идей и предложений. Они должны быть направлены на решение проблемы. Ведущий и все члены экспертной группы должны своими действиями и высказываниями способствовать созданию всеобщей синхронно работающей коллективной мысли, возбуждению мыслительных процессов, что существенно влияет на результативность обсуждений.

В процессе генерирования идей и их обсуждения прямая критика запрещена, однако она имеет место в неявной форме и выражается в степени поддержки и развития высказываний.

Выступления экспертов фиксируются путем стенографирования или магнитофонной записи и после окончания заседания подвергаются анализу, который заключается в группировке и классификации высказанных идей и решений по различным признакам, оценке степени полезности и возможности реализации. Примерно через сутки-двое экспертов просят сообщить, не возникли ли еще какие-нибудь новые идеи и решения. Практика показывает, что если в процессе заседания была создана хорошая творческая обстановка с активным участием всех экспертов, то после окончания обсуждения в мозге человека продолжается процесс генерации и анализа своих и других предложений, который протекает не только осознанно, но и подсознательно. В результате сопоставления высказываний, проведения аналогий и обобщения часто, примерно через сутки, эксперты формулируют наиболее ценные предложения и идеи. Поэтому сбор информации по возможным новым идеям способствует повышению эффективности метода мозгового штурма.

Существует ряд разновидностей мозгового штурма, в которых предлагается чередовать пятиминутные штурмы с обдумыванием его результатов, чередовать периоды генерации с дискуссиями и групповым принятием решений, применять последовательные этапы выдвижения предложений и их обсуждения, включать в группу экспертов "усилителей" и "подавителей" идей и т.п. Мозговой штурм применяется для решения разнообразных прикладных проблем.

Дискуссия. Этот вид экспертизы широко применяется на практике для обсуждения проблем, путей их решения, анализа различных факторов и т.п. Группа экспертов для проведения дискуссии должна быть не более 20 человек. Группа управления проводит предварительный анализ проблем дискуссии с целью четкой формулировки задач, определения требований к экспертам, их подбора и методики проведения дискуссии.

Сама дискуссия проводится как открытое коллективное обсуждение рассматриваемой проблемы, основной задачей которого является всесторонний анализ всех факторов, положительных и отрицательных последствий, выявление позиций и интересов участников.