Метод коллективной генерации идей

Метод коллективной генерации идей (по американской термино­логии, метод «мозговой атаки») относится к третьему типу групповых экспертных оценок и направлен на получение большого количества идей, в том числе и от лиц, которые, обладая достаточно высокой степенью эрудиции, обычно воздерживаются от высказываний.

При проведении экспертного опроса с помощью метода коллектив­ной генерации идей проблема должна быть сформулирована в основных терминах с выделением центрального вопроса. Кроме того, предусматри­ваются отсутствие любого вида критики, препятствующей формулировке идей, свободная интерпретация идей в рамках данного вопроса, стремле­ние к получению максимального количества идей, учитывая принцип по­вышения вероятности полезных предложений с увеличением общего их количества и, наконец, поощрение различных комбинаций идей и путей их усовершенствования.

Процесс выдвижения идей протекает в определенном смысле лавино­образно: высказываемая одним из членов группы идея порождает творческую реакцию у других. Исследования эффективности метода коллективной гене­рации идей показали, что групповое мышление производит на 70% больше ценных новых идей, чем сумма индивидуальных мышлений. Наиболее про­дуктивными признаны группы в 10—15 человек, хотя имеются примеры ис­пользования и более многочисленных групп — до 200 человек.

Так как результаты этого метода представляют не совокупность не­связанных высказываний, а систему идей, ни одно предложение не пер­сонифицируется. Результаты обсуждения считаются плодом коллектив­ного труда всей группы. Это вполне закономерно. Ведь любая идея, вы­сказанная в данный момент одним из участников опроса, могла уже ра­нее «мысленно принадлежать» его коллеге, ожидающему слова. Кроме того, конкретное предложение может быть прямо подсказано идеей, по­данной кем-то несколькими минутами раньше. Принимая во внимание указанный аспект, на рассмотрение не рекомендуется выносить пробле­мы, затрагивающие чей-либо приоритет в рассматриваемой области.

С помощью метода коллективной генерации идей можно успешно решать многие задачи маркетинговых исследований, например:

— определение возможных путей развития прогнозируемого про­цесса или объекта, один из которых оптимальный; при решении подоб­ных задач данный метод применяется с целью определения полного на­бора возможных путей развития;

— определение наиболее широкого круга применяемых методов, если решение проблемы требует параллельного или последовательного использования ряда разнообразных методов;

— выявление круга факторов, которые необходимо принимать во внимание, определяя окончательный вариант решения задачи.

К числу важнейших недостатков метода коллективной генерации идей относятся значительный уровень информационного шума, создаваемого три­виальными идеями, спонтанный и стихийный характер генерации идей.

Принципы метода коллективной генерации идей явно просматри­ваются в «пятиминутках» и «оперативках».

Порядок проведения экспертных опросов и содержание их отдельных этапов

Можно выделить следующие основные этапы экспертных опросов:

А. Подбор экспертов и формирование экспертных групп.

Б. Формирование вопросов и составление анкет.

В. Формирование правил определения суммарных оценок на осно­ве оценок отдельных экспертов.

Г. Работа с экспертами.

Д. Анализ и обработка экспертных оценок.

Кратко рассмотрим содержание отдельных этапов экспертных оп­росов.

А. Подбор экспертов и формирование экспертных групп

На первом этапе, исходя из целей экспертного опроса, решаются вопросы относительно структуры экспертной группы, количества экспер­тов и их индивидуальных качеств, иными словами, определяются направ­ления (разработка нового продукта, ценообразование, сбыт и т.п.), по ко­торым необходимо или желательно привлечь экспертов (устанавливается специализация экспертов). Далее по каждому направлению выделяются подгруппы экспертов и устанавливается количество экспертов в каждой подгруппе, которое зависит от конкретной постановки задачи и должно обеспечивать необходимый охват и полноту аспектов по каждому кон­кретному вопросу. Затем определяются требования к квалификации экс­пертов, стажу их работы в данной области опроса и общему стажу.

Определение численности экспертной группы можно осуществлять на основе использования рассмотренных выше (разд. 4.11.3) показателей математической статистики или на основе «прагматического» подхода.

Зачастую расчеты по формулам математической статистики дают слишком высокие значения численности экспертной группы (порой больше 100 экспертов), поэтому на практике можно рекомендовать ис­пользовать «прагматический» подход, который не является столь теорети­чески обоснованным, как первый подход, но зато легко реализуемым.

Оценки численности группы экспертов в этом случае можно про­извести, руководствуясь следующими соображениями. Ясно, что числен­ность группы не должна быть малой, так как в этом случае был бы поте­рян смысл формирования экспертных оценок, определяемых группой специалистов. Кроме того, на групповые экспертные оценки в значи­тельной степени влияла бы оценка каждого эксперта. При увеличении группы экспертов хотя и устраняются эти недостатки, но зато появляется опасность возникновения новых. Так, при очень большом числе экспер­тов оценка каждого из них в отдельности почти не влияет на групповую оценку. Причем рост численности экспертной группы далеко не всегда приносит повышение достоверности оценок. Часто расширение группы экспертов возможно лишь за счет привлечения малоквалифицированных специалистов, что в свою очередь может привести лишь к уменьшению достоверности групповых оценок. Одновременно с ростом числа экспер­тов увеличиваются трудности, связанные с обработкой результатов опро­са и координацией работы группы. Следовательно, существуют некото­рые граничные оценки численности группы экспертов Nmin и Nmax, кото­рые определяются следующим образом.

Нижняя оценка численности N_min должна зависеть от числа оцени­ваемых событий. Данное предположение основано на существовани» правила, которое обычно соблюдается при работе ученых советов, комис­сий специалистов и т.д., а именно — требований представительности группы, состоящей из N экспертов, для принятия решений по множеству m событий, которое можно представить как N ≥ m. Поэтому принимаем N_min ≥ m.

Верхней границей численности экспертной группы является по­тенциально возможное число экспертов:

откуда действительное значение численности группы N находится в пре­делах

После того как найдена численность группы, определяется ее структу­ра и состав, т.е. подбираются в группу эксперты требуемой специализации и квалификации. Для того чтобы экспертная группа могла всесторонне про­извести оценку событий, число экспертов N_l каждого l-го направления желательно выбрать одинаковым:

r – число направлений

Далее должно быть учтено одно ограничение, касающееся соответ­ствия целей экспертов целям экспертного опроса, т.е. необходимо уста­новить, имеется ли тенденция у отдельных экспертов необъективно оце­нивать рассматриваемые события. Для этого желательно выявить потен­циальные возможные цели экспертов, противоречащие целям получения объективных результатов. Анализируя предшествующую деятельность экспертов, необходимо выяснить наличие причин, которые приводят к стремлению завышать или занижать оценки так, чтобы повлиять на груп­повые в желательном для себя либо для других лиц направлении.

На основе сформулированных выше условий последовательность формирования группы экспертов может быть следующей. Сначала опре­деляется потенциально возможное число экспертов N_n, а также мини­мально допустимая численность группы N_min. После этого среди потен­циально возможных экспертов выделяют группу специалистов N_k (N_k ≤ N_n) требуемой квалификации для оцениваемого класса событий. Затем из N_k исключают тех экспертов, чьи потенциально возможные цели могут противоречить целям получения объективных результатов. Из оставшихся экспертов N_ц (N_ц ≤ N_k) формируют группу так, чтобы в ней обеспечива­лось равночисленное представительство разных направлений. Для этого вначале определяют максимально возможное число представителей каж­дого направления как

связано с важностью принимаемых решении на основе экспертных оце­нок.

Б. Формирование вопросов и составление анкет

Правила опроса экспертов содержат ряд положений, обязательных к выполнению всеми. Эти правила должны обеспечивать соблюдение условий, благоприятствующих формированию экспертами объективного мнения. В число таких условий входит:

— независимость формирования экспертами собственного мнения об оцениваемых событиях;

— удобство работы с предполагаемыми анкетами (вопросы форму­лируются в общепринятых терминах и должны исключать всякую смы­словую неоднозначность и др. — см. раздел 4.10.4);

— логическое соответствие вопросов структуре объекта опроса;

— приемлемые затраты времени на ответы по вопросам анкеты, удобное время получения вопросов и выдачи ответов;

— сохранение анонимности ответов для членов экспертной груп­пы;

— проведение коллективных обсуждений оцениваемых событий;

— предоставление экспертам требуемой информации.

Для обеспечения выполнения этих условий должны быть разрабо­таны правила проведения опроса и организации работы экспертной груп­пы. Причем в них должна быть учтена специфика оцениваемых событий, а также особенности организаций, из которых приглашаются эксперты.

В. Формирование правил определения суммарных оценок на основе оценок отдельных экспертов

Если имеются оценки a_ij событий (факторов) С_i определенные ка­ждым n_j є N экспертом, то возникает вопрос о том, каким образом могут быть получены групповые оценки событий.

В общем случае групповая оценка a_i каждого С_i события зависит от оценок экспертами этого события и степени компетентности h_j, экспер­тов. Степень компетентности h_j, эксперта учитывает его опыт и квалифи­кацию и является основной характеристикой эксперта, которая использу­ется при определении групповых оценок. Поэтому

Следовательно, задание способа формирования групповых экс­пертных оценок состоит в определении этой функции. Причем необхо­димо, чтобы она была строго монотонно возрастающей по a_ij и h_j).

Этому условию удовлетворяет множество функций. Обычно пола­гают, что функцию (1) можно представить как

При равной компетентности экспертов эта формула принимает вид средней оценки

В зависимости от специфики экспертного опроса, объекта исследо­вания и используемой методики обработки экспертных данных оценки a_ij могут иметь различную шкалу измерения: от 0 до 1, от 0 до 10 и от 0 до 100. Принципиальной разницы в данных шкалах нет, выбор той или иной из них во многом определяется удобством получения и обработки оценок, а также вкусом исследователя, проводящего экспертный опрос.

Для того чтобы учитывать различие в компетентности экспертов, им могут быть приписаны различные «веса», которые учитываются при определении групповых оценок. Причем значения этих коэффициентов интерпретируются как вероятность задания экспертом достоверной оцен­ки. Тогда 0 < h_j ≤ 1. Значения весовых коэффициентов могут быть ис­пользованы при построении системы стимулирования работы группы экспертов. Например, дополнительная оплата за работу по оценке собы­тий определится пропорционально весовому коэффициенту эксперта.

Существуют различные приемы оценки компетентности эксперта, выбор которых определяется как характером решаемой задачи, так и воз­можностями проведения конкретного экспертного опроса.

На наш взгляд, оценку следует строить на основе определенной шкалы, каждый балл которой определяется с помощью выбора соответст­вующих характеристик, оценивающих квалификацию эксперта. При этом должен быть учтен уровень квалификации эксперта в узкой области спе­циализации, уровень теоретической подготовки, его практический опыт и широта кругозора. Перечисленные характеристики лучше всего оценивать по десятибалльной шкале, разработанной специально к конкретному экс­пертному опросу. Полученные характеристики следует свести в один по­казатель, характеризующий объективную оценку компетентности экспер­та, - h_j⁰.

Кроме того, целесообразно определить показатель относительной самооценки эксперта (субъективный показатель — h^c_j). Этот показатель получается следующим образом: для каждого вопроса или группы вопро­сов, по которым считается необходимым оценить компетентность экс­перта, в таблице экспертных оценок предусматривается шкала под назва­нием «относительная самооценка эксперта». В ней эксперту самому предлагается проставить себе балл по десятибалльной шкале, ориентиру­ясь, к примеру, на следующие значения баллов:

10 — эксперт специализируется по данному вопросу, имеет по не­му законченные теоретические или практические разработки (научные исследования, запущенные в производство технические разработки, дан­ный вопрос непосредственно относится к области его узкой служебной деятельности);

8 — в практическом решении данного вопроса эксперт участвует, но этот вопрос не входит в сферу его узкой специализации;

5 — вопрос входит в сферу тесно связанного с его узкой специали­зацией направления (смежная прикладная дисциплина, смежная область практической деятельности);

3 — вопрос не входит в сферу тесно связанного с его узкой спе­циализацией направления (например, знакомство с проблемой по литера­турным источникам, по работе на другом предприятии и т. п.).

В целом показатель «относительная самооценка эксперта» направ­лен на то, чтобы эксперт сам оценил уровень своей компетентности по заданному вопросу.

Для того чтобы шкала баллов не оказывала влияния на самооцен­ку, в графе «относительная самооценка эксперта» можно привести пере­чень характеристик компетентности экспертов без проставления баллов. В этом случае эксперт должен подчеркнуть те характеристики, которые, по его мнению, определяют уровень личной компетентности. Баллы про­ставляются рабочей группой при анализе собранных анкет. Анкета для определения компетентности экспертов приводится в табл. 5.1.

Произведение объективного и субъективного показателей, делен­ное на сто, будет характеризовать компетентность эксперта по данному вопросу, т.е.

Деление на 100 нужно для приведения диапазона изменения h_j, к виду 0 < h_j ≤ 1. Тогда показатель компетентности эксперта можно тракто­вать как вероятность задания им достоверной оценки.

При неоднократном повторении опроса одним и тем же коллекти­вом экспертов (либо устойчивым большинством) по сходным вопросам можно и необходимо на каждом новом опросе воспользоваться уже на­копленными результатами для уточнения характеристик компетентности экспертов.

Кроме того, компетентность экспертов может быть определена са­мими экспертами. Для этого каждый эксперт, входящий в группу, задает весовые коэффициенты всем остальным экспертам, кроме себя. Далее определяется среднеарифметическая оценка компетентности каждого эксперта.

Если экспертиза проводится неоднократно одной и той же группой (или устойчивым большинством) экспертов по сходным вопросам, следу­ет при каждом новом опросе воспользоваться уже полученными результа­тами для уточнения характеристик компетентности экспертов.

Практика экспертных опросов показывает, что, хотя методы само­оценки недостаточны для того, чтобы служить единственным критерием оценки компетентности экспертов, использование этих методов способ­ствует более обоснованным выбору и оценке экспертов.

Таким образом, получены данные, подтверждающие связь между средней групповой самооценкой (частное от деления суммы индивиду­альных на число экспертов в группе) и точностью экспертизы [29]. На рис. 5.1 изображена кривая, показывающая зависимость между средней групповой самооценкой (у) и средней групповой ошибкой (х).

1 В 2 С 3 А Y

Рис. 5.1. Влияние средней групповой самооценки на точность экспертизы

Между этими величинами существует обратная связь, заключаю­щаяся в том, что средняя групповая ошибка монотонно убывает с возрас­танием средней самооценки. Из этого вытекает следующий вывод. Пусть, например, группа кандидатов в эксперты со средней оценкой С разделе­на на две подгруппы, из которых подгруппа А имеет более высокую самооценку, чем группа в целом, а подгруппа В — более низкую. Тогда подгруппа А будет в среднем более точной, чем вся группа, а подгруппа В — менее точной.

С другой стороны, различные подходы к оценке компетентности экспертов можно рассмотреть и с иных позиций. Экспертные оценки носят субъективный характер, оценка компетентности экспертов — так­же. Возникает вопрос: повышает ли точность результатов экспертизы наложение субъективных оценок компетентности экспертов? Может быть, проще определять окончательные оценки без формализованного учета компетентности экспертов? Только при этом следует на этапе отбо­ра экспертов уделить больше внимания неформальной оценке уровня их квалификации, а затем, при подведении результатов экспертизы, считать их всех равнокомпетентньми, и в качестве интегральной оценки рас­сматривать среднеарифметическое их отдельных оценок. Часто на прак­тике поступают именно таким образом.

Г. Работа с экспертами

В зависимости от характера исследуемого объекта, от степени его формализации и возможности привлечения необходимых экспертов по­рядок работы с ними может быть различным, но в основном он содержит следующие три этапа.

На первом этапе эксперты привлекаются в индивидуальном поряд­ке с целью уточнить модель объекта, ее параметры и показатели, подле­жащие экспертной оценке; уточнить формулировки вопросов и термино­логию в анкетах; согласовать целесообразность представления таблиц экспертных оценок в той или иной форме; уточнить состав группы экс­пертов.

На втором этапе экспертам направляются анкеты с пояснительным письмом, в котором описывается цель работы, структура и порядок за­полнения анкет с примерами.

Когда имеется возможность собрать экспертов вместе, особенно если удается их сгруппировать в соответствии с какими-либо признаками, существенно важными для данного опроса, например эксперты из одной организации, только сотрудники сбытовых служб, то цели и задачи анке­тирования, а также все вопросы, связанные с анкетированием, могут быть доложены устно. Обязательное условие такой формы экспертного опроса — последующее самостоятельное заполнение анкет при соблюде­нии всех правил анкетирования.

Третий этап работы с экспертами осуществляется после получения результатов опроса и изучения исследуемого объекта другими методами в процессе обработки и анализа полученных результатов. На этом этапе от экспертов в форме консультаций обычно получают всю недостающую информацию, которая требуется для уточнения полученных данных и их окончательного анализа.

Д. Анализ и обработка экспертных оценок

При проведении анализа собранных экспертных данных в соответ­ствии с целями исследования и принятыми моделями необходимо опре­делить согласованность действий экспертов и достоверность экспертных оценок.

Пусть для каждого события C_I на основании оценок a_ij, заданных группой из Р экспертов, образована матрица рангов важности — II α_ij II, где i=1, 2,..., m — число событий, j=1, 2,..., p — число экспертов. Мат­рица II α_ij II получается из матрицы II α_ij II путем определения, исходя из ко­эффициентов относительной важности событий α_ij, рангов важности этих событий, т.е. событиям присваиваются номера 1, 2, 3,..., m натурального ряда чисел.

Таким образом, при ранжировании события располагаются в по­рядке возрастания или убывания какого-либо признака X, количественно неизмеримого. Ранг a_i указывает то место, которое занимает i-е событие среди других m событий, ранжированных в соответствии с признаком X.

Ранжирование применяется, когда события располагаются согласно неизмеримому и неподсчитываемому качеству (например, потребитель­ские свойства товара, направления совершенствования товара и т. д.) или рассматриваются только относительно взаимного расположения во времени или пространстве. Ранжирование может являться менее точным вы­ражением упорядоченной связи событий относительно какого-либо изме­римого или подсчитываемого качества как замена переменной порядко­вым номером в прикидочных расчетах в целях экономии времени и уменьшения трудоемкости вычислений.

При использовании рангов важности для сравнения результатов (событий) нельзя установить, насколько один результат лучше другого, можно только определить ряд предпочтения рассматриваемых результа­тов. Иными словами, числа, характеризующие порядковую меру предпоч­тительности результатов, при сравнении, предположим, событий А и Б нельзя делить или вычитать, пытаясь узнать, насколько первый результат лучше второго (см. раздел 4.10.1).

Будем рассматривать упорядоченную последовательность суммар­ных рангов m событий, которую представим в виде

В табл. 5.2 приводится условный пример определения рангов важ­ности событий исходя из их коэффициентов относительной важности. (Более важное событие имеет меньший ранг важности.)

Таблица 5.2

Определение рангов важности

Среднее значение для суммарных рангов рассматриваемого ряда

Суммарное квадратическое отклонение 5 суммарных событий от среднего значения а есть

Величина S достигает максимального значения в случае, если все р экспертов дадут одинаковые оценки каждому Сi событию.

Тогда рассматриваемый ряд суммарных рангов будет иметь вид р, 2р,..., mр.

Вычтем из этого ряда среднее значение:

Сумма квадратов этого ряда равняется

Очевидно, что в качестве меры согласованности экспертов можно принять отношение

называемое коэффициентом конкордации. Величина W изменяется в пределах от 0 до 1. При W = 0 согласованности совершенно нет, т.е. связь между оценками различных экспертов отсутствует. Наоборот, при W = 1 согласованность мнений экспертов полная.

В том случае, если последовательность (5.2) кроме строгих нера­венств имеет равенства, т.е. существует совпадение рангов, то формула для вычисления коэффициента конкордации имеет вид

Когда ранги повторяются, то для получения нормальной ранжи­ровки, имеющей среднее значение ранга, равное

,

необходимо приписать событиям, имеющим одинаковые ранги, ранг, равный среднему значению мест, которые эти события поделили между собой.

Например, получена следующая ранжировка событий:

События 2 и 5 поделили между собой второе и третье места. Зна­чит, им приписывается ранг

события 3, 4 и 6 поделили между собой четвертое, пятое, шестое места, и им приписывается ранг

Таким образом, получаем нормальную ранжировку:

Пример. Рассмотрим ранжирование m = 10 событий р = 3 экспер­тами: N,Q,R. Результаты расчетов представлены в табл. 5.3.

Таблица 5.3