Показатели оценки элементов "дерева решений" на уровне НИР

Процедура структуризации проблемы и ее оценки предусматривает реализацию следующих этапов:

• этап ] — определение и описание проблемы;

• этап 2 — структуризация проблемы на уровне подпроблемы;

• этап 3 — структуризация подпроблем на уровне тем научных исследований;

• этап 4 — расчет технико-экономических характеристик элементов третьего уровня "дерева решений".

Определение и описание проблемы рассмотрены выше, поэтому перейдем к рассмотрению второго этапа.

Этап 2. Структуризация проблемы

на уровне подпроблемы

Шаг 1. Формируется группа экспертов таким образом, чтобы в ней были представители всех основных направлений работ в данном НПО. Эксперты знакомятся с проблемой и формируют направления исследований и разработок (подпроблемы), которые могут привести к решению рассматриваемой проблемы.

Шаг 2. Вычисляется коэффициент компетентности экспертов.

Каждый эксперт указывает степень своей информированности о проблеме по десятибалльной шкале и источники аргументации своего мнения. Аргументированность эксперта определяется в результате суммирования баллов по эталонной табл. 7.1.

Эксперт получает такую таблицу без цифр и отмечает (знаком) степень влияния каждого источника на его мнение. После наложения эталонной таблицы подсчитывается сумма баллов по всем источникам, отмеченным экспертами.

Шаг 3. Составляется общий список подпроблем, представленных всеми экспертами (повторяющиеся исключаются). Вычисляется обобщенная экспертная оценка показателя соответствия j-й проблемы профилю НПО:

Если h_j^{- (1)} < ½, то j-я проблема исключается из дальнейшего рассмотрения.

Шаг 4. Получение от каждого эксперта оценки показателя целесообразности подпроблемы h⁽²⁾ может принимать значения 100, 50, 10 (табл. 7.12). Для установления степени согласованности мнений экспертов о целесообразности выявленных проблем вычисляют коэффициент конкордации. Для этого эксперты ранжируют подпроблемы таким образом, что подпроблема, в наибольшей степени соответствующая решению проблемы, получает ранг, равный 1, следующая — ранг, равный 2, и т.д. Равнозначные, по мнению экспертов, подпроблемы получают ранг, равный среднеарифметическому значению. Степень согласованности мнений экспертов характеризуется коэффициентом конкордации w, который определяется по формулам:

где s — сумма квадратов отклонений сумм рангов, полученных j-м направлением исследований, от среднего арифметического сумм рангов, полученных всеми направлениями исследований;

п — количество экспертов;

т — число направлений;

r_j — ранг, присвоенный i-м экспертом j-му направлению;

r̅ — оценка математического ожидания.

При наличии связанных рангов коэффициент конкордации (w) вычисляется так:

где Т_i - показатель связанных рангов в i-й ранжировке;

Н_i — число групп равных рангов в i-й ранжировке;

h_K — число равных рангов в К-й. группе связанных рангов при ранжировании i-м экспертом.

Коэффициент конкордации w может принимать значения 0 £ w £ 1.

Если w < 0,5, то проводится повторное совещание экспертов для того, чтобы добиться одинакового понимания ими сущности подпроблем, при этом они могут изменить свой взгляд на подпроблему, и при пересчете значение w может увеличиться. Если w > 0,5, то переходим к следующему шагу.

Шаг 5. Вычисление обобщенной экспертной оценки показателя целенаправленности j-и подпроблемы h_j^{- (2)}:

где h_j^{- (2)} — оценка i-го эксперта показателя целесообразности j-й подпроблемы, который может принимать значение 100, 50, 10 (табл. 7.11).

Если h_j^{- (2)} < 30, т.е. большинство экспертов считают, что j -я подпроблема мало содействует решению проблемы, то она исключается из дальнейшего рассмотрения.

Шаг 6. Упорядочение экспертами значений коэффициентов новизны (h⁽³⁾), внедряемости (h⁽⁴⁾), перспективности (h⁽⁵⁾) в порядке убывания их значимости для выяснения, одинаков ли подход экспертов к оценке показателей. При этом вычисляется коэффициент конкордации для оценки данной проблемы, затем каждому из этих показателей назначаются весовые коэффициенты в долях единицы

Шаг 7. Вычисление среднего значения весовых коэффициентов для показателей новизны, внедряемости, перспективности ( ):

где l — номер показателя (l = 3, 4, 5);

q_ij — весовой коэффициент показателя h⁽¹⁾, даваемый i-м экспертом;

п — число экспертов.

Шаг 8. Оценка каждым экспертом подпроблемы по показателям h⁽³⁾, h⁽⁴⁾, h⁽⁵⁾, при этом h⁽³⁾, h⁽⁴⁾ могут принимать значения 100, 50, 10, а h⁽⁵⁾ принимает значения 100, 50 (см. табл. 7.11). Результаты опроса экспертов по показателям h⁽³⁾, h⁴⁾, h⁽⁵⁾ удобно представить в виде табл. 7.13, где х_ijl — значение показателя h⁽¹⁾, присваиваемое j-й подпроблеме i-м экспертом.

Шаг 9. Вычисление показателя уровня значимости (х̅_j), т.е. обобщенного значения оценки j-й подпроблемы по показателям h⁽³⁾, h⁽⁴⁾, h⁽⁵⁾. На этом шаге оценивается групповое мнение экспертов о значении j-й подпроблемы в решении проблемы в целом:

Таблица 7.13.

Оценки эксперта по показателям h⁽¹⁾

где x̅_̅j - уровень значимости j-й подпроблемы;

q̅_̅j — среднее значение весовых коэффициентов для каждого показателя;

х_ijl — значение показателя h⁽¹⁾, присваиваемое j-й проблеме iм экспертом (100, 50, 10).

Шаг 10. Упорядочение в порядке убывания уровня значимости (x̅_jmax = 100, x̅_jmin= 10) и вычисление по каждой подпроблеме коэффициента важности К_bj (в долях единицы). Коэффициент важности показывает относительную важность j-й проблемы для решения исходной проблемы, при его вычислении учитывается уровень значимости j-й подпроблемы и степень ее целенаправленности:

где x̅_̅j -- уровень значимости j-й подпроблемы;

h_j^{- (2)} — среднее значение экспертной оценки целенаправленности j-й подпроблемы.

Этап 3. Структуризация подпроблем на уровне

тем научных исследований

На данном этапе расчетов определяются элементы третьего уровня "дерева решений", т.е. непосредственно темы научных исследований. При этом возможно изменение состава экспертной группы. В нее включаются специалисты преимущественно тех областей деятельности, которые соответствуют выбранным для дальнейшего рассмотрения проблемам.

Шаг 1. Формирование экспертами по каждой j-й подпроблеме списка предполагаемых тем научных исследований и предполагаемых результатов. Эксперт может указывать темы научных исследований по одной или нескольким подпроблемам и оценивать К_и, К_а (коэффициенты информированности и аргументированности), как это делается в шаге 1 предыдущего этапа. Эти данные необходимы для определения коэффициента компетентности эксперта (см. шаг 2 предыдущего этапа). Кроме того, эксперт должен указать предполагаемого исполнителя (подразделение, ответственного исполнителя) по предложенным темам научных исследований.

Шаг 2.Анализ списка предлагаемых тем для выявления адекватных ожидаемым результатам и состава исполнителей для выявления адекватных исследованиям. В случае одинаковых по содержанию тем формулировка уточняется и в общий список тем включается одна из них.

Шаг 3.Оценка тем научных исследований по показателю целенаправленности (h⁽²⁾) К-й темы при решении j-й проблемы; h⁽²⁾ может принимать значения 100, 50, 10 (табл. 7.11). Результаты опроса экспертов по показателю h^(2> удобно представить в виде таблицы, где х_ijk - значение показателя h^<2), присваиваемое К-й теме i-м экспертом по j-й подпроблеме (табл. 7.14).

Шаг 4. Определение групповой экспертной оценки целенаправленности К-й темы при решении j-й подпроблемы (A̅_jk):

где х⁽²⁾_ijk - оценка целенаправленности К-й темы при решении j-й подпроблемы, данная i-м экспертом;

K_i -- коэффициент компетентности i-го эксперта, нормированный к единице;

i — номер эксперта;

j — номер подпроблемы;

К — номер темы (К = 1, 2, ..., L);

A̅_jKmax = 100, A̅_jKmin = 10.

Таблица 7.14.