Формирование критериев эффективности исследования

Формализация целей имеет место при формировании критерия оценки эффективности системы. Сложность систем, а также различия в целях исследований породили различные варианты определений критерия.

При оценке эффективности исследования критерий определяют как количественное отражение степени достижения системой поставленных перед ней целей.

В управлении исследованиями удобней рассматривать критерий как правило выбора предпочтительного варианта решения из ряда альтернативных. В соответствии с прогнозной эффективностью можно выделить следующие варианты решений по исследованию систем управления:

1) неэффективные, не позволяющие решить проблему;

2) рациональные, т.е. позволяющие решить проблему;

3) оптимальный вариант решения − вариант, позволяющий решить проблему исследования наилучшим в определенном критерием смысле образом или построить наилучшую систему исследований в определенном критерием смысле. Если неэффективных и рациональных решений может быть много, то оптимальное решение одно.

При исследовании сложной системы управления в силу ее многогранности критерий, как правило, является вектором. При этом задача оптимизации сложной системы является многокритериальной задачей.

Критерий включает в себя в качестве компонентов параметры эффективности (эффекта).

Параметром эффективностиисследования называют относительные значения наиболее важных параметров системы и(или) исследования, а также отношения таких параметров, которые позволяют оценить качество решения проблемы и достижение, поставленных перед системой целей. Например, параметром эффективности будет оценка соотношения одного и того же параметра (пусть это будет расход топлива) до и после внедрения результатов исследования. Они отражают степень прогресса в результате исследования и(или) эффективность расхода ресурсов, в частности денежных средств, в процессе исследований. Они позволяют выбирать предпочтительные варианты изменений в объекте или самого процесса исследования.

В качестве параметров эффектаисследования будем называть абсолютные значения изменений важнейших параметров, например, объем сэкономленного топлива в литрах, тоннах, рублях и т.п.

При формировании параметров эффективности или эффекта при исследовании систем управления предприятиями наиболее часто используют: стоимость и (или) время создания; доход, прибыль (убытки) за фиксированный период и т. д.

Параметры эффекта представляют систему ее создателю и среде. При выборе состава параметров эффекта учитывают как предназначение системы, так и цели исследования.

Часто из двух исследовательских процессов, относящихся к одним и тем же объектам, и решающих одну и ту же задачу при равных ресурсах, более эффективным считают тот, который при прочих равных условиях приводит к достижению цели за более короткий интервал времени.

Вместе с тем существуют различные подходы к формированию критериев. В зависимости от числа параметров оптимизации в критерии говорят о моно критериальной и поликритериальной (векторной) постановке задач исследования.

При монокритериальной постановке оптимизируют (максимизируют или минимизируют) один из параметров эффекта исследования.

При поликритериальной постановке проводится совместная оптимизация ряда параметров эффекта.

При исследовании объектов промышленности в состав критерия оценки эффективности исследования могут включаться параметры, характеризующие прирост эффективности, производительности, безопасности в результате внедрения рекомендаций, полученных в ходе исследовании систем управления, а также затраты на исследования и др.

К критерию предъявляют следующие требования:

· полноты отражения свойств концепции исследования;

· измеримости;

· возможности физической интерпретации (физической понятности);

· достоверности;

· неизбыточности.

Для обеспечения полноты отражения свойств исследования можно предложить использовать графовую модель операции. В зависимости от целей исследования такая модель может содержать различное число элементов, а, следовательно, иметь различное число исходов. Однако анализ последствий этих исходов вне зависимости от числа предполагаемых к применению (в соответствии с концепцией исследования) исследовательских приемов и, следовательно, числа исходов показывает, что все их многообразие может сводиться к трем группам параметров эффекта исследования: параметры целевого эффекта (прибыль, доход и т.п.); параметры затрат времени и ресурсов; параметры риска.

Один из известных подходов к синтезу критерия оценки исследования состоит в том, что один из параметров эффекта максимизируют или минимизируют, а на остальные накладывают ограничения. С учетом этого к практическому применению можно рекомендовать следующие варианты формулировки критерия оценки и выбора наилучшего варианта концепции, алгоритма проведения исследования:

1) максимизировать прибыль (dj) заказчика (или другой параметр эффекта объекта исследования) при заданных ограничениях на объем затрат (с₃), уровень риска (р₃) исследования (где: i – номер варианта исследования);

2) минимизировать объем затрат (c_i) при заданных ограничениях на прибыль (d₃) и уровень риска (р₃) исследования;

3) минимизировать уровень риска (р_i) при заданных ограничениях на прибыль (d₃), объем затрат (с₃) на исследования.

Нужно учитывать, что в связи с различной временной ценностью финансовых потоков в финансовом управлении исследованиями особое внимание уделяют параметру «ликвидность» активов и результатов исследования. При этом все варианты формулировки критерия оценки исследования могут быть дополнены требованием ограничения ликвидности (I_i < I₃ , где: I_i – ликвидность варианта; I₃ – ограничение.). Значение ликвидности активов и результатов исследований возрастает в том случае, когда относительно высока вероятность прекращения дальнейших исследований в связи с невозможностью достижения поставленной цели. В этом случае исполнитель обязан в определенный срок известить заказчика о невозможности выполнения работы. Заказчик обязан оплатить выполненные работы по факту расходов. В этой ситуации особенно остро стоит задача минимизации финансовых потерь от проведенных исследований, в том числе за счет распродажи активов (материалов, инструментов, аппаратуры и т.п.), а также промежуточных результатов исследований.

Выбор варианта критерия формализует цели заказчика (или исполнителя) исследования. При этом основой являются практическая острота проблемы и ограничения по ресурсам, рискам, времени проведения исследований.

Практическая и научная эффективность исследований систем управления неразрывно связана с полнотой, достоверностью и точностью полученных результатов.

Полнотой результатов исследований будем называть отношение числа исследованных ситуаций управления, функций системы, ее контуров, элементов и глубину их изучения в процессе исследования к числу ситуаций, функций и т.д., не подвергшихся такой проверке в процессе исследований.

Точностью результатов исследований будем называть возможные диапазоны (от минимальных до максимальных значений) нахождения реальных параметров по сравнению с оценками, полученными в ходе исследования.

Достоверностью результатов исследований будем называть статистическую надежность полученных результатов. Недостоверность результатов определяет возможность появления результатов, выходящих за полученные в процессе исследования пределы, оценки точности.

Полноту, точность и достоверность результатов исследований необходимо учитывать при практическом использовании этих результатов, а также при оценке эффективности исследований.

Управление исследованиями и их своевременное и достаточное финансирование являются важнейшими проблемами практической деятельности высших руководителей предприятия.

Управление исследованиями помимо рассмотренных выше целеполагания, маркетинга (выбора методов и способов исследования) включает менеджмент исследования.

Менеджмент исследования состоит из планирования, организации, мотивации и контроля исследования. При существовании определенной специфики менеджмента исследований общие подходы к этим составляющим, в основном, соответствуют общепринятым.

Планирование исследований может осуществляться методами, изложенными в третьей главе настоящей книги.

Технологией исследования назовем совокупность способов исследования, применяемых средств исследования; квалификационных навыков, применяемых исследователями для получения информации об объекте испытаний или исследуемом процессе, и (или) преобразований в процессе испытаний опытного образца в изделие, пригодное для эксплуатации потребителями.

Технологии исследований могут влиять на все оставляющие менеджмента исследований. Технологии могут предопределять выделение в организации специализированных подразделений (департаментизацию) и распределение функций между ними.

Автоматизация технологий подготовки и проведения исследований играет важную роль в обеспечении эффективности затрат на исследования, безопасности функционирования предприятия в рыночных условиях. Фактор автоматизации принципиально изменяет подходы к проектированию и использованию автоматизированных систем исследований. Автоматизация планирования исследований (планов испытаний) позволяет увеличить число рассматриваемых вариантов исследований, открывает дополнительные возможности по сокращению затрат времени и средств на такую подготовку и проведение исследований и др.

Автоматизация требует больших затрат времени и средств на этапах планирования и подготовки исследований, однако может существенно сокращать как время, так и затраты на этапах проведения и обработки результатов исследований.