Экспертные оценки в исследовании систем управления

В исследовании управления широко распространен метод экс­пертных оценок - в силу сложности многих проблем, их связи с «человеческим фактором», отсутствием надежных экспериментальных или нормативных инструментов.

Экспертиза - это мнение, идея, решение или оценка, основан­ные на реализации ценного опыта специалиста, глубоких знани­ях предмета исследования и технологиях качественного анализа.

Экспертиза бывает индивидуальная и групповая. При прове­дении групповой экспертизы большое значение имеют подбор группы экспертов и методология итоговой обработки результатов ее работы.

Заключение экспертов - это документ, в котором фиксируют­ся ход исследования и его итоги. При этом выводы и мнения эк­спертов могут иметь как категоричную (да, нет), так и вероятно­стную (в виде предположения, ранжирования, коэффициента предпочтительности и пр.) форму.

Существуют следующие принципы работы экспертов:

• идеи, мнения и оценки должны укладываться в заранее подготовленную схему. Это позволяет обобщать их, сравнивать, выделять существенное и пр. Такая схема не должна сковывать мысли и ограничивать фантазию. Схема может допускать и предполагать возможность ее модификации и дополнения;

• экспертные заключения необходимо обобщать не только количественно, но и проводя качественный анализ, выделяя существенное, важное, актуальное, оригинальное, новое и пр. Заключение экспертов может быть предметом экспертизы второго этапа;

• эксперты должны быть независимыми, т.е. освобожденными от каких-либо организационных, концептуальных или психологических ограничений, - в этом случае лучшим образом реализуются их опыт, знания, интуиция;

• работа экспертной группы должна быть целенаправленной, эксперты должны понимать причину и цель экспертизы, во многих случаях необходима специальная подготовка экспертов;

• эксперты могут осуществлять экспертизу индивидуально (суммируя и систематизируя результаты) или коллективно, взаи­модействуя друг с другом;

• возможна параллельная и многоэтапная работа нескольких экспертных групп, после чего происходит сопоставление экспер­тиз.

Особенность и эффективность метода экспертных оценок в исследовании систем управления

Одним из наиболее важных этапов экспертизы, самым первым этапом ее проведения является выбор группы экспертов - из своей организации или «со стороны».

Выдвижение специалистов в состав экспертной группы может производиться коллективами подразделений организации путем открытого или тайного голосования, что позволяет отобрать экс­пертов, пользующихся общим доверием.

В случае же приглашения специалистов «со стороны» проце­дура их отбора существенно усложняется. Применяют четыре ос­новных метода отбора экспертов: на основании самооценки, оцен­ки результатов прошлой деятельности кандидатов в эксперты, определения их компетентности и, наконец, отбор группой каж­дого кандидата.

В экономических и социологических исследованиях важную роль играет предпочтение, включающее такие понятия, как «вы­бор», «полезность», «вероятность». Для определения перечислен­ных понятий используются различные, в том числе и экспертные, оценки.

Все виды оценок имеют четыре компонента: субъект, предмет, характер и основание. Итоговая оценка имеет два компонента: ощущения эксперта и сама модель или отдельные ее свойства.

По своему характеру оценки разделяются на абсолютные и срав­нительные.

В экспертном оценивании в равной мере имеют место как аб­солютные, так и сравнительные оценки. Абсолютные оценки мо­гут, например, использоваться при оценивании объекта возмож­ного социологического исследования (хороший - плохой), срав­нительные - для выбора (например, одной из предложенных альтернатив).

Использование таких понятий, как «хороший», «плохой», «луч­ше», «хуже», подразумевает существование для оцениваемых объектов определенных образцов, стандартов, которые облегчают оценивание.

Оценивание же объектов в социологическом исследовании бывает затруднено как раз из-за отсутствия для них точных стан­дартов.

Под основанием оценки понимаются позиция субъекта или доводы, которые склоняют его к определенному предпочтению. Основания чаще всего не находят явного выражения, более того, субъект иногда не может даже себе объяснить, почему он пред­почел тот или иной предмет. В экспертном оценивании могут быть подучены различные оценки, имеющие один предмет, но разные основания. Так, деятельность химического комбината может быть оценена высоко с позиции важности его продукции для народ­ного хозяйства и очень низко - с позиции охраны окружающей среды.

Экспертные оценки, применяемые в социологическом иссле­довании, генерируются на основании сравнения исследуемых объектов либо между собой, либо с определенным эталоном. Сложность структуры социальных объектов обусловливает необ­ходимость проведения предварительного качественного анализа с целью выделения наиболее характерных свойств исследуемого объекта, соответствующих предварительной гипотезе исследова­ния. Этап качественного анализа представляется важным, по­скольку от того, насколько удачно выделены свойства (признаки) изучаемого объекта, зависит возможность их измерения.

Признаки социальных объектов можно приблизительно разде­лить на два типа: количественные признаки, измеряемые с помо­щью известных эталонов (так, в рублях оцениваются затраты на внедрение нововведений, заработная плата людей), и качествен­ные признаки, выделение и измерение которых в экспертном оце­нивании может быть связано с определенными трудностями, по­скольку качественные характеристики объектов не имеют установ­ленных эталонов измерения, их приходится конструировать самим исследователям в соответствии со структурой самого объекта и согласно гипотезе исследования.

Иногда для проведения экспертного оценивания достаточно выделить определенные характеристики объекта и дать им вер­бальную качественную оценку. Такого рода экспертную оценку можно получить методом «мозгового штурма» либо во время дис­куссии или совещания, когда эксперты должны оценить несколько предложенных гипотез, вариантов развития, сложившуюся соци­альную ситуацию. Вербальные качественные экспертные оценки используются на начальном этапе исследования при выделении ха­рактерных особенностей социального объекта.

Одна из особенностей процесса генерации качественных оце­нок - ограничение числа экспертов, участвующих в опросе; вто­рая особенность - сравнительная ограниченность дальнейшей об­работки качественных оценок. Являясь входными данными для аппарата теории группового выбора, качественные оценки вмес­те с тем исключают использование статического анализа.

Для оценивания качественных характеристик необходимо най­ти способ определения меры интенсивности выражения свойства социального объекта, т.е. получить количественное выражение качественной оценки.

С этой целью конструируется специальный эталон измерения (шкала), который должен удовлетворять следующим основным требованиям: измерять те свойства и характеристики, которые планируются для измерения, не смешивая их с другими (принцип обоснования измерения); повторные измерения объекта должны давать те же результаты, что и предыдущие (требование устойчи­вости шкалы); степень выраженности свойства или признака долж­на быть хорошо различима (требование точности шкалы).

Наиболее часто используются в экспертном оценивании соци­альных объектов шкала интервалов и шкала порядка.

Шкала интервалов применяется для отображения величины различия между свойствами объектов и представляет собой пол­ностью упорядоченный числовой ряд с измеренными интервала­ми между пунктами. Основное свойство шкалы интервалов - ра­венство интервалов. Интервальная шкала может иметь произволь­ные точки отсчета и масштаб.

Шкала порядка применяется для упорядочения объектов по одному или совокупности признаков по принципу «лучше», «хуже», «меньше, чем», «больше, чем». Принято говорить, что упо­рядоченные элементы ранжированы. Числа в шкале порядка от­ражают только порядок следования объектов и подают возмож­ности определить, насколько один объект предпочтительнее дру­гого.

Использование шкалы интервалов и шкалы порядка в качестве эталонов делает возможным балльное оценивание и ранжирова­ние социальных объектов.

Достоверность экспертного оценивания проблем зависит от компетентности, креативности, аналитичности и широты мыш­ления экспертов.

В социологических исследованиях проблемы, имеющие недо­статочный информационный потенциал, обладающие многовари­антностью и неоднозначностью, встречаются достаточно часто. В исследовании подобного рода проблем применяются вероятно­стные экспертные оценки, достоверность которых зависит от опы­та и эрудиции эксперта, его одаренности, наличия чувства перс­пективы в развитии проблемы, интуиции.

Метод SWОТ-анализа

Некоторой разновидностью экспертного метода, пользующей­ся большой популярностью, является оригинальный метод SWОТ-анализа - от первых букв четырех английских слов, которые в переводе означают Сильные и Слабые стороны, Возможности и Угрозы.

По методологии этого анализа проводится распределение фак­торов, характеризующих предмет исследования по указанным че­тырем составляющим, с учетом принадлежности этого фактора к классу внешних или внутренних факторов.

Этот метод может использоваться в качестве универсального. Особенно эффективен он при исследовании процессов в соци­ально-экономической системе, которой присущи динамичность, управляемость, зависимость внутренних и внешних факторов фун­кционирования, цикличность развития.

В результате появляется картина соотношения сильных и сла­бых сторон, возможностей и угроз, которая подсказывает, как следует изменить ситуацию, чтобы развитие было успешным.

Распределение факторов по этим квадрантам, или секторам, матриц не всегда является легким делом; иногда один и тот же фактор одновременно характеризует и сильные, и слабые сторо­ны предмета. Кроме того, в одной ситуации факторы являются достоинством, в другой - недостатком. Иногда они бывают не­соизмеримыми по своей значимости. Эти обстоятельства необхо­димо учитывать.

Один и тот же фактор можно размещать в нескольких квадран­тах, если трудно однозначно определить его место. Это не скажется отрицательно на исследовании. Ведь суть метода заключается в том, чтобы идентифицировать факторы, разместить их таким об­разом, чтобы их концентрация подсказала пути решения пробле­мы.

В каждом квадранте факторы не обязательно должны обладать одинаковым весом, но они должны быть представлены в полной своей совокупности.

Заполненная матрица показывает реальное положение дел, со­стояние проблемы и характер ситуации. Это первый этап SWОТ-анализа.

На втором этапе необходимо провести сравнительный анализ сильных сторон и благоприятных возможностей, который должен показать, как использовать сильные стороны. Вместе с тем надо проанализировать и слабые стороны относительно существующих опасностей, чтобы определить степень вероятности кризиса.

Конечно, весьма полезно сравнить сильные стороны и суще­ствующие опасности. Ведь сильные стороны можно использовать не только в целях развития, но и для предотвращения опаснос­тей.

В исследовании систем управления предметом SWОТ-анализа могут быть эффективность, персонал, стиль, распределение фун­кций, структура системы управления, механизм управления, мо­тивация, профессионализм, информационное обеспечение, ком­муникации и организационное поведение и пр.

Использование услуг специально подготовленных экспертов или внутренних консультантов позволяет повысить эффектив­ность этого метода.

Существует множество модификаций метода SWОТ-анализа, например метод разработки и анализ целей.

Известно, что цель управления - решающий фактор успеха, эффективности, стратегии и развития. При отсутствии цели не­возможно разработать план или программу. Это касается не толь­ко цели управления, но и цели исследования, ведь иногда эту цель тоже нелегко сформулировать корректно.

SMART-анализ

Метод SMARТ-анализа получил название от первых букв пяти английских слов, которые в переводе означают Достижимость. Конкрентность, Оцениваемость (измеримость), учет Места и Вре­мени.

Метод предполагает последовательную оценку целей по сово­купности критериев, расположенных в матричной форме. При­водим набор сопоставимых факторов, отражающих характеристи­ки цели: труднодостижима - легкодостижима, высокие затраты - низкие затраты, имеет поддержку персонала - не имеет поддер­жку персонала, имеет приоритеты - не имеет приоритетов, тре­бует много времени - требует мало времени, имеет широкое вли­яние - имеет ограниченное влияние, ориентирована на высокие технологии - ориентирована на низкие (обычные) технологии, связана с новой организацией управления - не связана с новой организацией управления.

На следующем этапе составляется матрица определения про­блем, которые необходимо решить для достижения цели. Но вна­чале их надо определить.

Проблемы распределяются по следующим критериям: суще­ствующая ситуация, желаемая ситуация, возможность достижения цели. Эти критерии располагаются по горизонтали матрицы. По вертикали рассматриваются следующие критерии: определение проблемы, оценивание проблемы (количественные параметры), организация решения (кто, где, когда), затраты на решение про­блемы.

Такая матрица позволяет составить план исследований.

Метод дерева целей

Количество и разнообразие целей и задач управления настоль­ко велики, что без комплексного подхода к исследованию их со­става не может обойтись ни одна социально-экономическая си­стема. В качестве удобного и апробированного метода можно исполь­зовать построение целевой модели в виде древовидного графа - «дерева целей». Посредством «дерева целей» описывается их упо­рядоченная иерархия, для чего осуществляется последовательная декомпозиция главной цели на подцели по следующим правилам:

• общая цель, находящаяся на вершине графа, должна содер­жать описание конечного результата;

• при развертывании общей цели в иерархическую структуру целей исходят из того, что реализация подцелей каждого после­дующего уровня является необходимым и достаточным условием достижения цели предыдущего уровня;

• при формулировании целей разных уровней необходимо опи­сывать желаемые результаты, но не способы их получения;

• подцели каждого уровня должны быть независимыми друг от друга и не выводимыми друг из друга;

• фундамент «дерева целей» должны составлять задачи, пред­ставляющие собой формулировку работ, которые могут быть вы­полнены определенным способом и в заранее установленные сро­ки.

Схема 21. Фрагмент «дерева целей»

Количество уровней декомпозиции зависит от масштабов и сложности поставленных целей, принятой в организации струк­туры, иерархичности построения ее системы управления.

Важным моментом в исследовании является моделирование не только иерархии целей, но и их динамики за определенный пе­риод времени. Динамическая модель особенно полезна при раз­работке перспективных планов социально-экономической систе­мы, реализующих ее стратегию.

В качестве примера формулирования целей рассмотрим процесс целеполагания по функциональным подсистемам, чаще всего выделяемым в организациях - маркетингу, нововведениям, производству, персоналу, финансам и общему менеджменту. В табл. 1 приводятся примерные формулировки целей по этим подсистемам. В реальных условиях эти цели должны быть конкретизиро­ваны и количественно измерены с помощью соответст­вующих показателей.