Экспертные методы в процессе прогнозирования и разработки управленческих решений

Сущность экспертных методов заключается в построении рациональной процедуры интуитивно-логического мышления человека в сочетании с количественными методами обработки и анализа полученных результатов. При этом обобщенное мнение экспертов принимается как возможное решение проблемы.

Главными задачами экспертных оценок являются:

1. Определение целей. При принятии важных решений необходимо четко представлять цели, к достижению которых стремится ЛПР. Для сложных ситуаций применять дерево целей.

2. Экспертный прогноз. Особую роль при принятии решений играют проблемы, связанные с оценкой будущего развития анализируемых ситуаций, ожидаемых результатов альтернативных вариантов решений. Экспертная информация содержит не только количественные, но и качественные оценки, поэтому может стать базой для прогнозов, и даже более реалистичной, чем статистическая информация.

3. Сценарии ожидаемого развития ситуации. Наиболее часто для формирования сценария применяют метод мозговой атаки в сочетании со специальными приемами аналитической информации.

4. Генерирование альтернативных вариантов. Подобные процедуры могут предусматривать проведение экспертиз с использованием методов типа мозговой атаки, а также создание в сложных случаях автоматизированных систем генерирования альтернативных вариантов.

5. Определение рейтингов. В последнее время они весьма популярны, позволяют оценивать сравнительную надежность банков, страховых компаний, качество различных услуг, сравнительную влиятельность работников и т.д.

6. Оценочные системы. Формируются при индивидуальных и коллективных сравнительных оценках объектов экспертизы для определения степени достижения цели. Большое внимание при этом уделяется оценке сравнительной важности критериев.

7. принятие коллективных решений. Здесь проводится не только коллективная экспертиза, но и открытое обсуждение альтернативных вариантов решения, дополнительного обмена информацией между лицами, принимающими решения, согласования, поиска компромисса.

Различают экспертизы однотуровые и многотуровые, анонимные и предусматривающие открытый обмен мнениями, с обменом информацией в процессе проведения экспертизы и без него и т.п.

При принятии важных управленческих решений целесообразно использование коллективных экспертиз, обеспечивающих большую обоснованность и, как правило, большую эффективность принимаемых решений. Помимо того, что разрабатываемое управленческое решение в этом случае получает разностороннюю оценку и аргументированность, интересна также возможность сопоставить различные точки зрения специалистов на сравнительную эффективность выработанных альтернативных вариантов решений.

Процедуры организации и проведения экспертиз в настоящее время достаточно детально разработаны и подробно описаны в специальной литературе. Рассмотрим наиболее популярные методы экспертиз.

Метод комиссий– это открытая дискуссия по обсуждаемой проблеме для выработки единого мнения экспертов. Коллективное мнение определяется в результате открытого или тайного голосования. В некоторых случаях к голосованию не прибегают, выявляя результирующее мнение в процессе дискуссии. Преимущества метода комиссий: возможен рост информированности экспертов за счет обсуждения обоснования экспертных оценок и обратная связь (под воздействием полученной информации эксперт может изменить первоначальную точку зрения). Однако метод комиссий обладает и недостатками. В частности, отсутствует анонимность, что может привести к появлению конформизма; дискуссия нередко принимает вид полемики наиболее авторитетных экспертов; различная активность экспертов, часто не совпадающая с их компетентностью; публичность высказываний сочетается порой с нежеланием некоторых экспертов отступить от ранее высказанного мнения, хотя оно в ходе дискуссии может претерпеть изменения.

Экспертиза по методу судахарактеризуется некоторой аналогией с судебным процессом. Состав экспертов делится на две группы. Одна объявляется сторонниками рассматриваемой альтернативы и выступает в качестве защиты. Другая объявляется ее противниками и пытается выявить отрицательные стороны. Возможна и «третья сила», которая регулирует ход экспертизы и выносит окончательное решения.

Метод прогнозного графа.Качество прогнозов зависит от корректно проведенной экспертизы и обработки ее результатов. Известным методом экспертиз сложных систем является метод прогнозного графа. Он включает несколько туров. На первом туре составляется предварительный список промежуточных целей, необходимых для достижения конечной цели. Эксперты указывают специалистов, способных оценить возможность реализации каждой из указанных ими промежуточных и конечных целей. На втором туре анализу подвергаются уже не конечная цель, а промежуточные цели сформулированные экспертами на первом туре. Последующие туры экспертизы аналогичны второму. Процедура заканчивается на том туре, когда более не требуется дополнительных анализов и детализации.

Метод сценариев.Сценарий означает сюжетную схему, т.е. заранее подготовленный детальный план осуществления чего-либо. Сценарии позволяют с определенным уровнем достоверности выявить возможные тенденции развития событий, взаимосвязи между взаимодействующими факторами, сформировать картину состояний, к которым может прийти ситуация под влиянием конкретных воздействий. При подготовке сценария большое внимание обращают на критические точки ветвления, т.е. точки, в которых малые воздействия оказывают заметное влияние на результат.

Каждый сценарий может быть реализован в нескольких вариантах. Чем больше вариантов генерируется и анализируется, тем выше эффективность адресных опережающих воздействий на конкретные подсистемы объекта управления.

Разработка сценариев способствует предвидению потенциальной опасности, с которой сопряжены варианты управленческих воздействий и неблагоприятное развитие событий. Использование специальных компьютерных систем, а также датчиков случайных чисел, с последующим исключением невозможных ситуаций, расширяет горизонт анализа альтернативных вариантов в составе сценариев и выбор наиболее эффективного.

В составе экспертных методов, наиболее активно используемых в настоящее время при выборе вариантов решений, наиболее известны метод «Дельфи» и метод мозговой атаки.

4.1. Метод «Дельфи»

Метод «Дельфи» один из основных в проведении групповых экспертиз и имеет различные модификации. Фактически это группа процедур, объединенных общими требованиями к организации экспертизы и форме получения экспертных оценок. В нем предусматривается создание условий, обеспечивающих наиболее продуктивную работу экспертной группы, что достигается анонимностью процедуры, с одной стороны, и возможностью пополнить информацию о предмете экспертизы – с другой.Метод разработан и применен в США впервые в 1964 г. сотрудниками научно-исследовательской корпорации «РЕНД» О. Хелмером и Т. Гордоном.

Название метода связывают с наиболее известным в Древней Греции местом религиозных пророчеств, которое находилось в городе Дельфы при храме Аполлона.

Метод «Дельфи» целесообразнее применять в тех случаях, когда имеющиеся в распоряжении или доступные данные непригодны для анализа существующей проблемы; в распоряжении нет нужных данных; нет достаточного времени для сбора данных; процесс получения и анализа необходимых данных слишком дорог.

Метод «Дельфи» предусматривает создание условий, обеспечивающих эффективную работу экспертной комиссии. Это достигается анонимностью процедуры, с одной стороны, и возможностью пополнить информацию о предмете экспертизы, отказом от коллективного мнения – с другой. Еще одно важное свойство – обратная связь, позволяющая экспертам корректировать свои суждения с учетом промежуточных усредненных оценок и пояснений экспертов, высказавших «крайние» точки зрения. Для реализации обратной связи необходима многотуровая процедура. Экспертиза проводится чаще всего в четыре тура.

Прямые дебаты заменены тщательно разработанной программой последовательных опросов, проводимых обычно в форме анкетирования. Ответы экспертов обобщаются и вместе с новой дополнительной информацией поступают в распоряжение экспертов, после чего они уточняют первоначальные ответы. Такая процедура повторяется несколько раз до достижения приемлемой согласованности всей совокупности высказанных мнений.

Перед рассылкой анкеты эксперту объясняется существо проблемы.

На первом туре экспертам сообщается цель экспертизы и формируются вопросы, ответы на которые составляют основное содержание экспертизы. Вопросы предъявляются каждому эксперту персонально в виде анкеты, иногда сопровождаемой пояснительной запиской. Если предъявляемые экспертам вопросы достаточно сложны, целесообразна предварительная разработка приближенной модели исследуемой системы, чтобы правильно ориентировать эксперта, конкретизировать цели и предмет экспертной процедуры, показать характер возможных ответов.

Успеху экспертизы способствует предоставление эксперту дополнительной информации о предмете экспертизы. Информация, полученная от эксперта, поступает в распоряжение аналитической группы, обеспечивающей организацию, проведение, обработку промежуточных и окончательных результатов экспертизы. Аналитическая группа определяет экспертов, высказавших крайние точки зрения, давших самую высокую и самую низкую оценку альтернативе, усредненное мнение экспертов – медиану, верхнюю и нижнюю квартили, т.е. значение оцениваемой альтернативы, выше и ниже которых расположены 25% числовых значений оценок. Расстояние между квартилями характеризует разброс экспертных оценок, т.е. согласованность точек зрения экспертов.

Вводятся следующие обозначения:

t₀- значение наиболее ранней оценки;

t_0,25- значение оценки, определяющей 25% наиболее ранних оценок (из всех имеющихся), - нижний квартиль;

t_0,5- значение оценки, разделяющей упорядоченную по оси времени совокупность оценок на две равные по количеству оценок части, - медиана;

t_0,75- значение оценки, определяющей 25% наиболее поздних оценок (из всех имеющихся), - верхний квартиль;

t_1,0- значение наиболее поздней оценки.

Степень согласованности мнений экспертов определяют коэффициентом вариации , который не должен превышать 33%. Он рассчитывается следующим образом:

где - среднее квадратическое отклонение оценок, которое определяется следующим образом:

,

где - среднее значение оценки;

- оценка каждого эксперта;

- число экспертов.

Медиана – значение оценки, которое находится в середине ранжированного ряда. Для нахождения медианы с четным числом складывают два средних варианта и делят сумму пополам.

На втором туре экспертам предъявляется усредненная оценка экспертной комиссии и обоснования экспертов, высказавших «крайние» точки зрения. Обоснования принимаются анонимно, без указания имен экспертов. После получения дополнительной информации эксперты, как правило, корректируют свои оценки. Скорректированная информация вновь поступает в аналитическую группу.

На третьем туре эта информация с анонимными аргументациями поставленных оценок снова направляется каждому участнику. На основе полученной информации эксперты пересматривают предыдущие оценки. Если же оценка какого-либо эксперта значительно выходит за рамки общего интервала, то он должен подтвердить достаточной аргументацией свою позицию и объяснить почему предыдущая информация и аргументация противоположных оценок не заставила его изменить свое мнение.

На четвертом туре каждому эксперту предоставляется право распределения оценок третьего тура, и он должен снова представить на рассмотрение пересмотренную оценку, учтя полученную информацию. Как показывает практика, желаемое согласие наступает к четвертому туру. В некоторых случаях согласованная точка зрения экспертов может быть получена уже после второго или третьего туров. Тогда необходимость проведения последующих туров отпадает.

При использовании метода «Дельфи» полезно учитывать следующее.

1. Группы экспертов должны быть стабильными, их численность должна удерживаться в благоразумных рамках.

2. Время между турами опросов не должно быть больше месяца.

3. Вопросы в анкетах должны быть тщательно продуманы и однозначно сформулированы.

4. Число туров должно быть достаточным, чтобы обеспечить всем участникам возможность ознакомиться с причиной появления той или иной оценки, а также и для критики этих причин.

5. Должен проводиться систематический отбор экспертов.

6. Необходимо иметь самооценку компетенции экспертов по рассматриваемым проблемам.

7. Нужна формула согласованности оценок, основанная на данных самооценок.

8. Следует установить влияние общественного мнения на экспертные оценки и на совмещение этих оценок.

9. Необходимо установить влияние различных видов передачи информации экспертам по каналам обратной связи.

Следует отметить, что использование медианы и квартилей в методе «Дельфи» имеет помимо положительной стороны и отрицательную. В частности, при анализе ответов экспертов оценка, слишком сильно отличающаяся от других, практически исключается, несмотря на то, что она может оказаться более верной, чем остальные, т.е. большинство экспертов могут сойтись в ошибочной оценке. Правда, по мнению авторов, подобные отклонения метода «Дельфи», компенсируются отчасти тем, что эксперта несогласного с мнением большинства, просят обосновать причины несогласия. Все эксперты имеют возможность не согласиться с этими причинами и могут принять во внимание или отвергнуть их, переоценить свое мнение или остаться при нем. Так что оценка, заметно отличающаяся от других, отбрасывается фактически лишь в том случае, если эксперту не удается достаточно веско аргументировать свою точку зрения.

Имеется и другая трудность – сложность четкой формулировки вопросов. Максимальная точность достигается за счет громоздкого стиля изложения, вызывающего отрицательную реакцию у отвечающих на анкету. Здесь также надо найти оптимум между четкостью и лаконичностью поставленных вопросов, чтобы все участники одинаково их интерпретировали. Другим недостатком метода является то, что ответы высококомпетентных экспертов как бы «разбавляются» оценками менее информированных специалистов; кроме того, в ряде случаев одни и те же специалисты включаются в разные группы (чего допускать нельзя).

Тем не менее, несмотря на указанные недостатки, метод «Дельфи» является достаточно надежным инструментом получения экспертной информации. С его помощью выявляется преобладающее суждение специалистов по какому-либо вопросу в обстановке, исключающей их прямые дебаты между собой, но позволяющей им вместе с тем периодически взвешивать свои суждения с учетом ответов доводов коллег. Пересмотр и возможность изменения прежних оценок на основе выяснения соображений каждого эксперта и последующий анализ каждым участником совокупности причин, представленных экспертами, стимулирует опрашиваемых к учету факторов, которые они на первых порах склонны были опустить как незначительные.

После первой апробации метода «Дельфи» были разработаны его различные модификации. Все они сохраняли основные особенности первоначального варианта, но или совершенствовали их, или включали новые элементы. Все модификации могут быть охарактеризованы следующим образом.

1. Составление классификатора событий, которые экспертам предстоит проанализировать. Составление направленного перечня событий, что является добавлением еще одного (предварительного) тура опроса, но для других экспертов, не участвующих в основном анкетировании. Другими словами, те, кто составляет этот перечень, передают его другим экспертам начинающим работу как бы со второго тура. В частности, этот прием активно используется в методах эвристического и программного прогнозирования.

2. Предварительное описание прогнозного фона. Полезно иметь прогноз внешнеэкономических и социально-демографических тенденций в качестве исходной информации для первого тура. Этот подход особенно ценен в промышленности, где прогноз составляет «собственная» группа экспертов-инженеров, не являющихся специалистами по экономике, рынкам сбыта, и т.д.

3. Уменьшение числа туров опроса. В настоящее время нет определенного ответа на вопрос о необходимом количестве туров опроса. В ряде случаев, когда время проведения опросов ограничено и начальный перечень событий уже получен, согласие экспертов может быть достигнуто уже на втором туре. Очевидно, нет необходимости вводить формализованный критерий сходимости мнений экспертов в интеграционном процессе проведения туров опроса. По мнению американских прогнозистов, например, проведение даже двух туров по методу «Дельфи» более эффективно, чем многократный опрос отдельных экспертов или группы с личным общением ее членов в процессе опроса.

4. Характер вопросов, задаваемых экспертам, и соответствующие математические процедуры получения групповых прогнозных оценок. Модифицирование метода «Дельфи» было связано не только собственно с методом, но и с расширением области его применения. Классический метод «Дельфи», созданный для прогнозирования научных открытий и времени их свершения, стал использоваться для оценки приоритетности направлений прикладных исследований, а также для анализа перспективности технических (конструкторских и технологических) решений и даже для оценки количественных показателей разрабатываемых технических объектов, технологических процессов и т.д.

4.2. Метод «Мозговой атаки»

Вторым распространенным методом проведение экспертиз является метод мозговой атаки. Этот метод, известный также под названием «мозговой штурм», «конференция идей», был предложен американским ученым А. Осборном в 1955 году.

Основная направленность метода – выявление новых идей и решений. Для этой цели организаторы экспертизы создают атмосферу, наиболее благоприятствующую генерированию идей (благожелательности, поддержки), освобождающую эксперта от излишней скованности. Обсуждаемая проблема должна быть четко сформулирована.

Метод мозговой атаки характерен открытым высказыванием мнений специалистов (на специальном заседании) по решению конкретной задачи. При этом должны соблюдаться два условия: во-первых, запрещается критика чужих мнений; во-вторых, предполагается высказывать любые идеи по решению данного вопроса без учета сиюминутной ценности или возможности реализации. Все высказанные идеи фиксируются и после обсуждения детально прорабатываются. При этом выявляются рациональные моменты в каждом из высказанных предположений и на основе их обобщения формулируются решения. Достоинством метода мозговой атаки является возможность принятия решения за сравнительно короткий срок.

При реализации метода может применяться принцип Парето. После регистрации идей из всей их совокупности каждым экспертом отбирается 20% идей, с их точки зрения заслуживающих наибольшего внимания. Данный отбор также фиксируется. Далее из их состава отбираются те, которые получили наибольшее количество очков.

В методе мозговой атаки существенная роль принадлежит организатору, проводившему экспертизу. Он знает о конечной цели экспертизы, направляя дискуссию в соответствующее русло, но если руководитель выделит лишь перспективные с его точки зрения идеи, результат экспертизы окажется менее значительным.

Применение этого метода устраняет эффект конформизма, т.е. приспособленчества, позволяет получить продуктивные результаты за короткое время, вовлечь всех экспертов в активный творческий процесс.

Наилучшие результаты метода мозговой атаки достигаются при разработке новой продукции, совершенствовании выпускаемой продукции и существующих способов работы, при содействии маркетингу и продажам, улучшении технических конструкций, а также при построении дерева целей.

Метод мозгового штурма основан на следующих принципах.

1. В решении поставленной задачи участвуют две группы людей - генераторы идеи и эксперты. Генераторы идеи объединяют людей с творческим мышлением, с фантазией и со знаниями науки, техники и экономики. Эксперты – это обычно люди с большим объемом знаний и критическим складом ума. Эксперты играют роль аналитиков.

2. При генерировании никаких ограничений не должно быть. Высказываются любые идеи, в том числе явно ошибочные, шутливые, без всякого доказательства и ТЭО. Высказанные идеи обычно фиксируются в протоколе, в компьютере, на диктафоне и т.п. Таким образом, основа метода – это отделение процесса интегрирования идей от процесса их оценки.

3. Философская основа метода – теория З.Фрейда, согласно которой сознание человека представляет собой топкое и непрочное наслоение над подсознанием. В обычных условиях мышление и поведение человека определяются основным сознанием, в котором властвуют контроль и порядок: сознание «запрограммировано» привычными представлениями и запретами. Но сквозь тонкую корку сознания то и дело прорываются темные стихийные силы и инстинкты, бушующие в подсознании. Эти силы толкают человека на нелогичные поступки, нарушение запретов, на всякие иррациональные мысли. Изобретателю приходится преодолевать всякую психологическую закомплексованность и запреты, обусловленными представлениями о возможном и невозможном.

Основное достоинство метода мозговой атаки – в запрете на критику. Но запрет на критику – это одновременно и слабость метода. Для развития идеи и необходимо выявить ее недостатки, а для этого нужна критика.

Весь процесс «атаки» можно разделить на шесть этапов.

1. Формируется группа экспертов. Обычно ее численность составляет 10-15 человек. Состав группы предполагает их целенаправленный подбор: а) из лиц примерно одного ранга, если участники знают друг друга; б) из лиц разного ранга, если участники незнакомы друг с другом (в этом случае каждому участнику присваивают номер и в последующем обращаются по номеру); в) в группу могут включаться специалисты из других областей знаний, обладающие высоким уровнем эрудиции и понимающие смысл проблемной ситуации.

2. Составляется проблемная записка. Для ее подготовки предварительно формируется группа анализа проблемной ситуации. Записка может содержать следующие сведения: состав причин возникновения проблемной ситуации, анализ причин и возможные последствия проблемной ситуации, анализ мирового опыта разрешения подобных проблем (если он имеется), классификация (систематизация) возможных путей разрешения ситуации, формулировка проблемной ситуации в виде центрального вопроса с иерархией подвопросов.

3. Генерация идей. Ведущий раскрывает содержание проблемной записки, напоминает участникам мозговой атаки о следующем: а) высказывания должны быть четкими и сжатыми; б) скептические замечания и критика предыдущих ораторов запрещается; в) каждый участник может выступать многократно, но не подряд; г) не разрешается зачитывать подряд список идей, подготовленных участником заблаговременно.

Одна из главных задач ведущего – побудить психическую восприимчивость участников, их волю к целеустремленному мышлению. Активна работа ведущего предполагается лишь в начале «штурма». Достаточно скоро возбуждение участников достигает критической точки и выдвижение новых идей приобретает спонтанный характер. После этого роль ведущего сводится к следующему: а) концентрировать внимание участников на проблемной ситуации; б) не объявлять, не осуждать и не прекращать исследование ни одной цеди; в) поддерживать и поощрять участников, кто в этом нуждается; г) создавать непринужденную обстановку, способствуя тем самым активной работе экспертов.

Продолжительность мозгового штурма может составлять 20-60 минут (в зависимости от активности участников). Высказываемые идеи желательно фиксировать, чтобы не забыть и иметь возможность их затем систематизировать.

4. Систематизация идей, высказанных на третьем этапе (генерации).

Эта работа возлагается на группу анализа проблемной ситуации. На данном этапе: а) составляется номенклатурный перечень всех высказанных идей; б) выявляются дублирующие и дополнительные идеи, затем они объединяются с основной идеей; в) выделяются признаки, по которым могут объединяться идеи; г) идеи объединяются в группы согласно выделенным признакам; д) составляется перечень идей по группам, в каждой группе идеи записываются по правилу от общих к частным.

5. Деструирование (разрушение) систематизированных идей. Каждая из систематизированных идей изучается на возможность ее осуществления. Участники штурма выдвигают доводы, опровергающие систематизированную идею. В процессе разрушения может объявиться контридея. Процесс разрушения ведется до тех пор, пока систематизированная идея не подвергнется критики.

6. Оценка критических замечаний и составление списка практически применимых идей. На данном этапе составляется сводная таблица. Первая графа таблицы – этапы систематизации идей, вторая – критические замечания, опровергающие идеи, третья – показатели практической применимости идей, четвертая – контридеи.

Затем оценивается каждое критическое замечание и контридея: а) вычеркивается из таблицы, если опровергается хотя бы одним показателем практической применимости; б) не вычеркивается, если не опровергается ни одним показателем.

Составляется окончательный список идей. В список переносятся только идеи, которые не опровергнуты критическими замечаниями или контридеями.

К методу мозговой атаки часто прибегают при разработке дерева целей. С помощью экспертов получают само дерево, а также коэффициент относительной важности целей.

Мозговая атака может иметь различные модификации. При решении проблем численность людей как генераторов, так и экспертов, обычно не превышает шести человек, продолжительность штурма не более 20 минут. Атака идеи может быть осуществлена в письменной форме, она может быть индивидуальной, парной (обсуждение одной идеи двумя экспертами), может быть двойной (обсуждение идеи производится в два этапа) и поэтапной (обсуждение идеи производится по этапам, например последовательно обсуждается постановка проблемы, ее решение, материализация идеи, внедрение в практику).

Возможна и обратная атака. Она означает, что участники ищут недостатки какого-либо нового продукта или операции, устраняют их и выдвигают новые задачи.

В ходе большинства творческих сессий вы встретите людей, которые неконструктивно действуют на креативный процесс. Мы постарались «нарисовать их широкими мазками»:

«Кирпич» – этот человек постоянно останавливает естественное течение идейной генерации, вставляя собственные комментарии. Вы говорите про Фому, он вам - про Ерему. В результате предметная дискуссия сводится на нет. Выбросьте «кирпич» из вашей креативной команды.

«Фома неверующий» - любая идея неверна. Она не будет работать или она не стоит того, чтобы за нее браться, или ее уже делали до этого, или она «не соответствует корпоративной политике». Эти люди подобно мощному пылесосу высасывают энергию из группы.

«Молчун» - брейнштормеры – это «повивальные бабки идеи». Они делятся идеями, помогают им родиться и вырасти, стать талантливой рекламой. Люди, которые ничего не говорят или почти ничего не говорят, не стоят того, чтобы брать их на творческую сессию. Исключение те, кто говорит мало, но по делу. И «каждое слово их, как бриллиант». Но такие люди - редкость. Обычно, от молчаливого участника будет мало пользы.

«Болтун» - по другую сторону творческой шкалы. Ему нравится звук собственного голоса. Он говорит и говорит, и еще раз говорит, разрушительно действую на собрание. Он «поедает время» и отваживает других от конструктивной беседы. Держите таких людей подальше от креативного процесса.

«Адвокат дьявола» - на каждом мозговом штурме будет присутствовать участник, который скажет: «Давайте я на секунду сыграю адвоката дьявола». Нет! Давайте не будем играть! Мы придумываем идеи, а не пытаемся предусмотреть все возможные последствия.