Тема 5. Экспертные оценки в исследовании систем управления

Среди методов, применяемых в исследовании систем управления

(СУ) и решении многих управленческих задач, наиболее часто используется экспертный, поэтому он заслуживает отдельного рассмотрения.

Сущность экспертных методов как при решении задач исследова­ния СУ, так и при использовании их в практике принятия решений в других областях науки, техники, управления заключается в усреднении различными способами мнений (суждений) специалистов-экспертов по рассматриваемым вопросам.

Для общего руководства экспертными работами следует назначать председателя экспертной комиссии. В составе комиссии организуют две группы: рабочую и экспертную (рис.29.1).

Рабочую группу возглавляет ее руководитель (организатор). В его подчинение входят технические работники, осуществляющие техни­ческие работы по подготовке материалов к работе экспертов, обработку результатов работы экспертов и т.п.

В экспертную группу входят эксперты - специалисты по решаемым проблемам. Формирование этой группы осуществляет руководитель (организатор) рабочей группы.

Формирование экспертной группы включает в себя ряд последо­вательных мероприятий:

постановку проблемы и определение области деятельности груп­пы;

составление предварительного списка экспертов - специалистов в рассматриваемой области деятельности;

анализ качественного состава предварительного списка экспертов и уточнение списка;

получение согласия эксперта для участия в работе;

Рис.1. Типовой состав экспертной комиссии

Количество экспертов в экспертной группе зависит от множества факторов и условий, в частности от важности решаемой проблемы, располагаемых возможностей и т.п. В большинстве случаев опреде­ляется минимально необходимое количество экспертов.

Очень важна форма сбора мнений экспертов. По фактору участия экспертов в работе различаются индивидуальная, коллективная и смешанная формы сбора мнений.

По методу сбора экспертных оценок различают: анкетирование, интервьюирование, дискуссию, мозговой штурм, Дельфийский метод, совещание, деловую игру, сценарий.

Наиболее часто в проектировании систем управления практикуется анкетирование, которое позволяет с меньшими трудозатратами (хотя и с большими затратами времени) собрать мнение экспертов.

При наличии численных данных экспертных оценок наиболее часто подсчитываются меры центральной тенденции (мода, медиана, среднее арифметическое), меры рассеивания данных (размах, среднее квадратическое отклонение, дисперсия), коэффициенты уравнений регрессии и корреляции. Для оценки взаимосвязи ранжирований различных экспертов подсчитывается коэффициент ранговой корреляции Спирмана.

Однако при недостаточности информации по решаемому вопросу (что нередко бывает при проектировании СУ), наряду с количественными методами обработки экспертных данных, используются также и методы качественного анализа и синтеза.

Поскольку мнения экспертов часто совпадают не полностью, необходимо количественно оценивать меру их согласованности и выяв­лять причины несовпадения суждений. Мера согласованности опреде­ляется на основестатистических данных всей группы экспертов. Для оценки согласованности мнений используются, как правило, коэффициенты конкордации — дисперсионный и энтропийный.

При наличии численных данных экспертных оценок наиболее часто подсчитываются меры центральной тенденции (мода, медиана, среднее арифметическое), меры рассеивания данных (размах, среднее квадратическое отклонение, дисперсия), коэффициенты уравнений регрессии и корреляции. Для оценки взаимосвязи ранжирований различных экспертов подсчитывается коэффициент ранговой корреляции Спирмана.

Однако при недостаточности информации по решаемому вопросу (что нередко бывает при проектировании СУ), наряду с количественными методами обработки экспертных данных, используются также и методы качественного анализа и синтеза.

Поскольку мнения экспертов часто совпадают не полностью, необходимо количественно оценивать меру их согласованности и выяв­лять причины несовпадения суждений. Мера согласованности опреде­ляется на основестатистических данных всей группы экспертов. Для оценки согласованности мнений используются, как правило, коэффициенты конкордации — дисперсионный и энтропийный.