Формирование группы экспертов и способы работы с ними.

В процессе моделирования больших систем неизбежно приходится оценивать значения различных параметров этих систем. Значения неко­торых параметров удается непосредственно измерить (например, геометрические характеристики доступных предметов, отрезки времени и т.п.) или вычислить по известным аналитическим зависимостям (например, вероятность сложного события по вероятностям составляющих его собы­тий, площади геометрических фигур по известным их размерам и т.п.). Если имеются данные о функционировании моделируемой системы или ее аналога за достаточно продолжительное время, то значения некоторых параметров можно определить путем статистической обработки их зна­чений, зафиксированных в процессе наблюдения. Общеизвестные методы математической статистики позволяют не только определить текущее значение параметра, но и оценить достоверность такого определения в зависимости от продолжительности (числа) наблюдений и их совпадения (разброса), установить необходимое число наблюдений для определения значения параметра с заданной точностью.

Иногда значения интересующих параметров удается определить по аналогии со значениями других, схожих с определяемыми, значения ко­торых известны.

Однако нередки случаи, когда значения параметров моделируемых систем не удается получить названными выше методами. Такая ситуация бывает особенно характерной для систем с высоким уровнем неопреде­ленности и не имеющих достаточной предыстории функционирования. Именно такими являются рассматриваемые здесь системы защиты ин­формации. Например, в настоящее время нет данных, необходимых для определения таких параметров, как вероятности проявления дестабили­зирующих факторов в различных АСОД и различных условиях их функ­ционирования, вероятности успешного использования злоумышленником проявившихся дестабилизирующих факторов, показатели эффективности функционирования различных средств защиты и многих других. В таких случаях неизбежно приходится пользоваться неформальными методами оценивания, основанными на оценках людей-специалистов в соответ­ствующей сфере.

Из неформальных методов оценивания наиболее известными яв­ляются методы экспертных оценок. Экспертными оценками называются такие методы поиска решений сложных, не поддающихся формализации задач, которые основаны на суждениях (оценках, высказываниях) специ­ально выбираемых (назначаемых) экспертов. Эти методы достаточно просты по своей сущности, они нашли широкое отражение в специальной литературе. Последовательность и содержание решения задач методами экспертных оценок в самом общем виде могут быть представлены сле­дующим образом: разработка постановки задачи; обоснование перечня и содержания тех параметров задачи, для определения значений которых целесообразно использовать экспертные оценки; обоснование форм и способов экспертных оценок; разработка реквизитов (бланков, инструк­ций и т.п.), необходимых для проведения экспертных оценок; подбор и подготовка (обучение, инструктаж) экспертов, привлекаемых для реше­ния задачи; организация и обеспечение работы экспертов; контроль и первичная обработка экспертных оценок; базовая обработка экспертных оценок.

По способам привлечения экспертов к решению задач различают: простые суждения, интервьюирование и анкетирование. При использова­нии метода простых суждений эксперт устно или письменно высказы­вается по поставленному вопросу, при интервьюировании каждый экс­перт устно или письменно отвечает (в диалоговом режиме) на серию во­просов, которые ставит организатор экспертизы, при анкетировании каждый эксперт отвечает письменно на вопросы, содержащиеся в забла­говременно составляемых одной или нескольких анкетах.

Принципиально важным для методов экспертных оценок является получение такой выборки оценок экспертов, на которой статистически устойчиво проявилось бы их общее мнение по решаемой проблеме. От­сюда одно, из основных требований и одна из основных трудностей со­стоят в подборе такого количества компетентных экспертов, которого достаточно для получения статистически устойчивых решений. Однако при этом возникает серьезный вопрос о соизмерении компетентности различных экспертов по решаемой проблеме. Для решения этого вопроса в подавляющем большинстве существующих методик экспертных оценок вводится так называемый коэффициент компетентности, представляю­щий собою число в интервале от 0 до 1, причем оценке каждого эксперта присваивается вес, равный этому коэффициенту. Значение коэффициента компетентности определяется либо самим экспертом (самооценка) либо коллегами по экспертизе (взаимная оценка).В некоторых случаях исполь­зуются одновременно обе оценки.

Технология использования методов экспертных оценок представля­ет собой последовательность следующих операций:

1. Формирование достаточно представительной группы компетент­ных экспертов;

2.Выбор способа организации работы с экспертами;

3.Выбор метода формирования экспертами суждений (оценок) по решаемым вопросам и проведение экспертизы;

4.Выбор метода обработки оценок группы экспертов.

Ниже кратко излагаются возможные подходы к решению перечис­ленных задач. Формирование группы экспертов. В решении данной задачи суще­ственно значимыми представляются два вопроса: персональный подбор
экспертов и формирование представительной их группы.

При персональном подборе экспертов рекомендуется руководство­ваться следующей совокупностью критериев:

1) компетентность - наличие знаний и опыта по решаемой пробле­ме;

2) креативность - способность решать творческие задачи;

3) антиконформизм - неподверженность влиянию авторитетов;

4) конструктивность мышления - способность давать практически значимые решения;

5) коллективизм - способность работать в коллективе в соот­ветствии с общепризнанными этическими нормами поведения;

6) самокритичность - способность критично относиться к собствен­ной компетенции и своим суждениям;

7) наличие времени для работы в экспертных группах;

8) заинтересованность - наличие желания в решении рассматривае­мой проблемы.

Численность группы должна быть достаточно представительной для того, чтобы на основе совокупной обработки их суждений можно было определить статистически устойчивую оценку. Считается, что груп­па должна иметь численность не менее 20 человек.

2. Выбор способа работы с экспертами. Наиболее эффективными способами работами с экспертами считаются интервьюирование и анке­тирование. Первый способ заключается в том, что руководитель экспер­тизы последовательно берет интервью (в общепринятой интерпретации этого понятия) у экспертов, второй - в том, что каждый эксперт самостоя­тельно заполняет заблаговременно разработанную анкету. К досто­инствам первого способа относится возможность уточнять по ходу ин­тервью оценки эксперта, используя для этого подходы метода психоинтеллектуальной генерации), второго - возможность экспертам не только глубоко сосредоточиться на решаемой проблеме, но и дополнительного изучения проблемы. Названные способы могут комбинироваться: напри­
мер, проводится предварительное интервьюирование экспертов, затем эксперты заполняют анкеты, после чего осуществляется заключительное интервьюирование в целях изучения мотивов экспертов относительно их
оценок и возможного уточнения этих оценок.

3. Выбор метода формирования экспертами оценок. Данная задача относится к наиболее важным в общей процедуре экспертных оценок. Она заключается в решении двух подзадач: выбора формы выражения оценки и выбора способа ее формирования.

Форма выражения оценки может быть неявной и явной. Неявное выражение состоит в том, что эксперт ранжирует оцениваемые элементы (объекты, явления) по степени их важности (линейное ранжирование) или делит на группы с возможным ранжированием в группах (групповое ранжирование). При явном выражении эксперты дают элементам лингви­стические или количественные оценки. При этом количественная оценка может выражаться коэффициентом (весом) на непрерывной шкале (чаще всего от 0 до 1) или баллом из предложенного множества (пять, десять и т.п.).

По способу формирования оценки могут быть непосредственными (эксперт определяет значение каждого оцениваемого элемента на задан­ной шкале) и сравнительными, формируемыми на основе сравнения пар оцениваемых элементов и означающими ту степень предпочтения" (значимости), которая, по мнению эксперта, имеет место в условиях ре­шаемой задачи.