Критерии оценки и отбора проектов

Актуальность любого проекта развития – это соответствие его задачам научно-инновационного и социально-экономического развития страны, региона, хозяйствующего субъекта. Задачи определяются исходя из установленных субъ­ектом управления (федерального, регионального уровней) или хозяйствующим субъектом научно-инновационных, экономических» социальных и экологичес­ких приоритетов. Приоритеты могут отражать общемировые тенденции раз­вития, необходимость решения проблем обеспечения технологической и эко­логической безопасности государства, экономического роста, повышения каче­ства жизни людей. Они устанавливаются на основе стратегии (концепции, док­трины) научно-инновационного развития страны, региона, хозяйствующего субъекта. Наиболее общими её направлениями являются:

• установление приоритетных направлений развития науки и техники;

• обеспечение преимущества в технологическом развитии, создание новшеств на новых принципах переработки ресурсов;

• осуществление конверсии в направлении выпуска изделий народного потребления, обладающих более высокой конкурентоспособностью, чем импортируемые аналоги;

• техническое обновление объектов жизнеобеспечения населения, повышение конкурентоспособности экономики региона при ее структурной перестройке с максимальным использованием имеющихся научно-инноваци­онного и производственного потенциалов;

• постоянное повышение конкурентоспособности и производство экс­портно-ориентированной и импортозамещающей продукции хозяйствующих субъектов.

Общая значимость проекта может быть оценена с пози­ций федерального, регионального, отраслевого уровней управления хозяйст­вующего субъекта. Проект соответственно может иметь федеральную, регио­нальную, отраслевую значимость или значимость для хозяйствующего субъек­та. Эти оценки могут находиться в различных сочетаниях по отношению к конкретному проекту.

Федеральная значимость связана с решением проблем государственного масштаба во всех сферах жизнедеятельности населения в соответствии с феде­ральными целями научно-инновационного и социально-экономического раз­вития. Региональная значимость отражает цели реализации потенциала терри­тории, степень решения свойственных данному региону социальных и эко­логических проблем. Отраслевая значимость фиксирует влияние проекта на решение общеотраслевых проблем, важных для многих хозяйствующих субъ­ектов в данной отрасли. Значимость проекта для хозяйствующего субъекта оценивается с позиции усиления его роли на рынке в связи с решением техно­логических, экономических, социальных и экологических проблем. Общая значимость проекта условно может иметь три уровня оценок: первый (выс­ший) – решение первоочередных проблем; второй – решение приоритетных проблем; третий – решение рядовых проблем.

Для проекта федеральной значимости первоочередными могут рассматри­ваться острые социальные, бюджетные, инфляционные и иные проблемы; приоритетными – проблемы в русле установленных правительством приори­тетов в науке, технике, социально-экономическом развитии; рядовыми – про­блемы пополнения федерального бюджета, стратегического импортозамещения. Аналогичный подход может быть распространен на оценку региональной и отраслевой значимости проекта. Для хозяйствующего субъекта уровни зна­чимости могут быть более гибкими, индивидуальными в зависимости от его положения на внутреннем и внешнем рынках, включая оценку влияния проекта на повышение качества продукции, услуг; расширение и стабильность рыноч­ной продажи; снижение издержек, решение социальных и экологических про­блем; создание технологического задела, рассчитанного на будущий прорыв на рынке. Общая значимость проекта оценивается путем экспертизы специалис­тами на основе анализа данных проекта, других материалов.

По сферам воздействия проекта различаются научно-тех­нические, экономические, социальные, экологические оценки.

Научно-технические оценки должны ответить на следующие вопросы. Во-первых, насколько принятые технические решения соответствуют современ­ным технологическим требованиям в индустриально развитых странах, спо­собствуют движению к новому технологическому укладу производства. Во-вторых, каковы уровень и масштаб новизны проекта, его составных частей, наличие интеллектуального продукта или защищенной патентами интеллекту­альной собственности. В-третьих, насколько перспективны заложенные в про­ект принципы технологии и технического оснащения, на какой рынок, внут­ренний или внешний (развитых, развивающихся стран), ориентируется вы­пуск новой продукции. Для научно-технической оценки проекта могут быть отобраны один–четыре существенных параметра, интересующих пользовате­лей продукции, услуги, технологии, способов выполнения работ. Все другие параметры должны укладываться в рамки некоторых стандартов или обще­принятого уровня, т.е. участвовать в оценке в качестве ограничений.

Экономические оценки проекта представляют систему показателей, отража­ющих соотношение затрат и результатов каждого его участника. Рыночные критерии – максимизация прибыли и конкуренция – предопределяют в со­ставе экономической оценки проекта:

• оценку рыночной потребности и объема продаж во временном аспекте;

• оценку реальных потоков продукции, инвестиций, текущих затрат, фи­нансовой деятельности;

• оценку прогнозной цены, сопряженной с величиной издержек, размерами валовой и чистой прибыли, изменением ссудного процента, темпов инфляции;

• оценку интегрального показателя народнохозяйственной эффективности.

Наряду с основными могут быть определены дополнительные экономи­ческие оценки проекта – оценки улучшения использования ресурсов: трудо­вых, материальных, финансовых, потенциала территории; оценки выручки от продажи интеллектуальной собственности, создаваемой в ходе осуществления проекта, и другие с точки зрения федеральных, региональных, отраслевых ин­тересов и интересов хозяйствующих субъектов.

Социальные оценки отражают вклад проекта в улучшение социальной среды и в конечном счете – повышение качества жизни людей, характеризуе­мое оценками:

• уровня жизни – доходы населения (средняя заработная плата и другие выплаты); обеспеченность населения товарами и услугами потребительского назначения; цены и тарифы на товары и услуги; потребление населением про­дуктов питания, непродовольственных товаров и услуг; обеспечение жильем и коммунальными услугами;

• образа жизни – занятость населения (количество новых рабочих мест); подготовка кадров (численность работников, которые пройдут переподготовку, повысят квалификацию, получат новую профессию); обеспечение населения объектами образования, культуры, искусства, спорта, сети дошкольных учреж­дений, доступность и степень их использования; социальная безопасность (снижение правонарушений и преступности);

• здоровья и продолжительности жизни – улучшение условий труда (со­кращение числа рабочих мест с тяжелыми, вредными и опасными условиями труда, профессиональных заболеваний и производственного травматизма); развитие сферы здравоохранения, обеспеченность объектами здравоохране­ния, уровень обслуживания в них.

Социальные оценки проекта могут быть двух видов: оценки социально-целевой направленности проекта и оценки социальных пос­ледствий проекта. В первом случае социальные оценки входят в состав его целей, во втором – как вторичные, латентные, возникающие в результате реа­лизации проекта как его последствия.

Экологические оценки проекта могут состоять из оценок:

• выбросов и отходов в окружающую среду (водный, воздушный бассей­ны, земельные ресурсы, лесные ресурсы, животный мир). Оценка производит­ся в сравнении с ПДК (предельно допустимой концентрацией) вредных ве­ществ и ПДУ (предельно допустимым уровнем) воздействий на окружающую среду, а также с помощью показателей и характеристик, по которым не уста­новлены предельные нормативные значения. Затем может оцениваться влия­ние объекта на экологическую емкость территории, уровень которой не дол­жен снижаться при введении в эксплуатацию новшества, а также экологичес­кий риск: вероятность и тяжесть возможных катастроф, связанных с иннова­циями;

• безотходности производства за счет замкнутого технологического цикла переработки ресурсов или благодаря переработке образующихся отходов. Оценки фиксируют полностью или частично безотходные технологии, а также степень утилизации отходов производства, организации оборотного водоснаб­жения, малоотходных и бессточных производств;

• приближения к биосферосовместимому типу технологии – оценки тех­нологии с позиции степени перехода с природоперерабатывающего типа про­изводства на процессы, близкие к естественным, с замкнутым вещественно-энергетическим циклом, или сокращения объема переработки природных ре­сурсов. Оценки могут состоять в констатации традиционности принятого в проекте типа природопользования или в регистрации технологических изме­нений, являющихся перспективными по созданию в будущем нового типа природопользования и заданной среды обитания.

Особую значимость в экологической оценке проектов приобретают аспекты экологической безопасности. Создание сложных техноло­гических систем приводит к резкому возрастанию техногенных нагрузок, угро­зе экологической безопасности и экологическому риску. Масштаб негативных последствий в таких случаях несопоставим с неблагоприятными последствия­ми эксплуатации машинной техники и технологии. Поэтому все более повы­шаются требования к качеству проектирования, изготовления, эксплуатации сложных технических систем, их надежности, создания технических средств, автоматически блокирующих последствия недостатков в уровне организации труда, техники и технологии предотвращения аварий и ликвидации их послед­ствий.

Особенность анализа проектов заключается, прежде всего, в том, что расширяется круг проблем по их организации, оценке, отбору и финансированию. Это усложняет задачу экспертов. В анализе проектов возникают крупные проблемы. Во-первых, увеличивается число объектов, подлежащих анализу. Это связано с принципиальной новизной продукта, неизвестностью рынка, осо­бенностью целевого подбора технологического и производствен­ного аппарата, специальной подготовкой и обучением персонала и, наконец, со значительными техническими, технологическими и коммерческими рисками.

Кроме того, особое внимание при разработке проектов необ­ходимо уделять правовым, институциональным, экологическим и социальным проблемам. Во-вторых, для оценки проектов прихо­дится применять качественные и прогностические методы, что ус­ложняет процедуру и снижает точность прогноза. Для необходимой качественной оценки новшества используют как стандартные под­ходы регрессионного, корреляционного, финансового и инвести­ционного анализов, так и ситуационные, вероятностные и итера­тивные методы моделирования.

В-третьих, при оценке проектов существуют два «узких мес­та»: это экспертиза и прогнозирование результатов НИОКР и оценка жизнеспособности проекта. Методы синектики, морфологического анализа не дают гарантий успеха, а часто используемый метод ана­логий не всегда применим. Процедура оценки жизнеспособности проекта требует от инвестиционного менеджера не только высокой квалификации и профессионализма, но и развитой интуиции. По­этому проекты требуют сочета­ния качественных и количественных методов и проведения сравни­тельного анализа факторных моделей в разных совокупностях. Вариант обобщенной схемы анализа проекта пред­ставлен на рис. 1.9.

Как следует из обобщенной схемы анализа проекта, часть процедур анализа была уже рассмотрена нами при исследовании внутренней и внешней среды предприятия.

Анализ проекта как объекта деятельности пред­приятия заключается в исследовании показателей качества новше­ства и экономическом анализе и формировании стоимостных оце­нок новшества, а также в определении прибыльности и окупаемо­сти проекта с учетом рисков.

Рис. 1.9. Обобщенная схема анализа проекта

Для прогноза стоимостной оценки новшества необходимо при­менять не один метод, а последовательно-параллельное вариантное системное моделирование. Экономическая часть этого моделирова­ния основана на применении метода анализа «затраты – эффек­тивность». Показатели качества новшества и его инвестиционная привлекательность рассчитываются на основе экспертных оценок, создания агрегированного мнения, метода проб и ошибок и специ­ального прогнозного графа – дерева целей. Здесь выявляется рей­тинг показателей, проводится ранжирование и осуществляется ус­ловный перевод в количественную форму.

Процесс квантификации показателей технического и эксплуа­тационного уровня новшества особенно сложен и, в конечном счете, является основой прогнозирования конкурентоспособно­сти новшества. При усовершенствовании и модернизации произ­водства на основе покупки патентов, лицензий, ноу-хау затраты на технологию, обучение и наладку оборудования составляют до 20 % и более инвестиционных затрат.

При интенсивном типе экономического роста, где обновление всего производственного аппарата осуществляется в 5–7 лет, зат­раты на технологию, обучение персонала, НИОКР увеличиваются в 2–3 раза.

При экспертизе проектов должно быть учтено потенциальное воз­действие результатов исследований или разработок на социальную, экономическую и экологическую среду. Экспертиза содержит не только количественную, но и качественную оценку проектов. При принятии ре­шений учитываются оценки, высказанные каждым членом экспертной группы. Эксперты имеют право требовать любую информацию, касаю­щуюся разрабатываемого проекта. К каждой экспертной группе может быть подключен высококвалифицированный представитель заказчика экспертизы.

Перечисленные принципы экспертизы проектов, ре­комендованных ОЭСР, необходимо дополнить следующими:

1) экспертная группа должна быть численностью не менее чем из 7 специалистов в данной области, работающих на контрактной основе;

2) работа экспертной группы должна быть организована на принци­пах независимости, объективности, профессионализма, комплекс­ности, системности, мотивации конечных результатов труда;

3) основной задачей экспертной группы должна быть проверка со­блюдения инновационной организацией при проектировании объекта совокупности научных подходов, принципов и методов инновационного менеджмента.

Важнейшим условием достижения высокого качества проекта, организованности и результативности работы экспертной группы является обеспечение высокого качества нормативно-методи­ческих документов по инновационному менеджменту и функциониро­ванию любой структуры.

Документы можно классифицировать по следующим основным при­знакам:

а) уровень иерархии нормативно-методического обеспечения – меж­дународное сообщество, страна, регион, город, село, фирма;

б) правовой статус документа – обязательные к исполнению (зако­ны, стандарты, указы, постановления, положения, программы, планы, формальные распоряжения) и рекомендательные (инст­рукции, методики, рекомендации и т. п.);

в) содержание документа – технические (инвестиционные проек­ты, конструкторско-технологическая документация, методики и т. п.), экономические (технико-экономические обоснования, финансовые, бухгалтерские, налоговые документы, бизнес-пла­ны и т. п.), организационные (организационные проекты, устав, организационные структуры, протокол, инструкции и т. п.).

Обязательные атрибуты документов фирмы – цель документа, основание для разработки, место данной цели (задачи, функции и т. п. подсистемы системы менеджмента), ссылки на научные подходы и принципы, которые должны соблюдаться при решении цели (задачи), потребитель информации, нормы и правила их использования, воз­можный круг исполнителей, требования к качеству работ, экономии ресурсов, срокам, санкции, источники информации. В методических документах, кроме этих данных, должны быть приведены конкретные методы.

Документы предлагается оценивать по следующим критериям ка­чества:

1) комплексность документа, т. е. рассмотрение в нем технических, экологических, эргономических, экономических, правовых, организационных и других вопросов в их взаимосвязи, целенаправ­ленность документа;

2) степень соответствия документа (объекта) международным тре­бованиям по экологичности, безопасности, взаимозаменяемости, патентной чистоте, правовой защите и др. вопросам;

3) степень использования мировых достижений и гармонизации, интегрированности документа с мировыми системами;

4) количество примененных при разработке документа научных подходов (системный, маркетинговый, воспроизводственный, функциональный и др.);

5) количество примененных при разработке документа современных методов (функционально-стоимостный анализ, моделирование, прогнозирование, оптимизация и др.). Если эти методы рекомен­дуется применять при разработке объекта, то это требование долж­но быть зафиксировано четко в документе;

6) экономическая обоснованность управленческих решений;

7) повторяемость документа, его перспективность, масштаб приме­нения;

8) степень апробированности документа в научных кругах, феде­ральных и региональных органах управления, на практике;

9) имидж организаций – разработчиков документа и квалифика­ция его разработчиков;

10) органы, согласовавшие и утвердившие документ;

11) степень соблюдения стандартов на оформление документа, одно­значность понятий, четкость, доступность изложения, нагляд­ность.

Документы, отвечающие перечисленным критериям (требованиям) качества, будут конкурентоспособными на внутреннем и внешнем рынках. Качество документа является основным условием обеспече­ния конкурентоспособности товаров, фирм, страны.

Методика проведения экспертизы проектов осно­вывается на методах и приемах анализа, прогнозирования, разработки управленческого решения. Наиболее распространенными методами экспертизы являются:

а) методы сравнения показателей, заложенных в про­ект или полученных в результате экспертных (сертификационных) испытаний, с международными и национальными требованиями по экологичности, эргономичности, безопасности применения объекта, экспертизы его совместимости и взаимозаменяемости, другим параметрам с мировыми достижениями;

б) экспертный;

в) индексный;

г) балансовый;

д) графический и другие методы и приемы.

Эти методы не являются альтернативными, они дополняют друг друга. Для одного компонента (раздела, проблемы) применяется один метод, для другого – другой.

В России для реализации федеральных научно-технических про­грамм государственными заказчиками заключаются государственные контракты с исполнителями программ, отбираемых на конкурсной основе.

Экспертизу проектов в области гуманитарных и общественных наук проводят Российский гуманитарный научный фонд (РГНФ) и Российский фонд фундаментальных исследований (РФФИ).

В РГНФ экспертная оценка формализуется в виде ответов на во­просы экспертной анкеты и предусматривает следующие варианты итогового заключения эксперта:

5 – проект заслуживает безусловной поддержки;

4 – проект заслуживает поддержки;

3 – проект может быть поддержан;

2 – проект не заслуживает поддержки;

1 – проект не заслуживает рассмотрения экспертным советом.

В экспертной оценке учитываются обстоятельства, затрудняющие объективную экспертизу. Это может быть связано с «конфликтом ин­тересов»: не совпадают научные интересы эксперта и содержания про­екта; эксперт состоял или состоит в партнерских, финансовых, род­ственных отношениях с руководителем или исполнителями проекта, в отношениях научного руководства с руководителем или исполните­лями проекта, в отношениях научного руководства с руководителем (или с одним из основных исполнителей проекта).

Экспертная оценка дается на основе анализа научного содержания проекта и научного потенциала автора (или авторского коллектива). При анализе научного содержания проекта учитываются:

1) четкость изложения замысла проекта (четкое, нечеткое);

2) четкость определения цели и методов исследования (четко, не­четко);

3) качественные характеристики проекта (проект имеет: фунда­ментальный характер; междисциплинарный или системный ха­рактер; прикладной характер);

4) научный задел (имеются: существенный научный и методологи­ческий задел в решении сформулированной в проекте проблемы; публикации по заданной теме; научно-методическая проработка решения проблемы отсутствует);

5) новизна постановки проблемы (автором впервые сформулирова­на и научно обоснована проблема исследования; автором предло­жены оригинальные подходы к решению проблемы; сформули­рованная в проекте проблема исследования известна науке, и автором не предложены оригинальные подходы к решению про­блемы).

Научный потенциал авторского коллектива оценивается с учетом анализа научного содержания проекта (автор/участники в состоянии выполнить заявленную работу; эксперт сомневается в возможности выполнения работы).

Таким образом, эксперт должен не только дать описание проекта, но и оценить: его актуальность для данной отрасли знаний; относится ли проект к приоритетным направлениям исследований; новизну по­ставленной проблемы; перспективы развития проекта; качественный состав участников, а также обосновать по приведенной выше системе оценку проекта.

Для экспериментально-лабораторных исследований экспертиза предусматривает ответы на следующие вопросы:

– Подготовлены ли программы исследований?

– Подготовлены ли анкеты для опроса?

– Проведено ли пилотажное исследование?

РФФИ проводит экспертизу на основе сравнительного анализа не­скольких проектов. Предусматриваются три уровня экспертизы.

Первый уровень – предварительное рассмотрение проекта и реше­ние следующих задач:

· отбор проектов для участия в экспертизе второго уровня;

· составление мотивированных заключений по отклоненным про­ектам;

· определение экспертов по каждому проекту, прошедшему на ин­дивидуальный уровень экспертизы.

Формализация результатов экспертизы осуществляется на рейтин­говой основе. Рейтинг индивидуального проекта устанавливается на втором уровне.

На третьем уровне дается заключение по проекту (могут быть вне­сены коррективы в общий рейтинг проекта, принимается решение о финансировании).

Индивидуальный рейтинг проекта рассчитывается по формуле

R = r₁ + r₂ + r₃,

где R – общий рейтинг проекта; r₁ – коэффициент, учитывающий научную ценность проекта; r₂ – коэффициент, учитывающий реальность выполнения проекта в срок; r₃ – коэффициент коррекции суммарной оценки r₁ и r₂. R может принимать значения от 2 до 13.

Коэффициент r₁ учитывает: научный уровень руководителя и по­тенциал возглавляемого им коллектива; научный задел и публикации по теме; информационное, лабораторное материальное обеспечение проекта; корректность распределения задачи по этапам, результатам и срокам работы. Эксперт оформляет анкету, в которой обосновывают­ся соответствующие оценки.

Коэффициент r₂ оценивает вероятность того, что выполнение про­екта может: привести к новым принципиальным результатам; обеспе­чить существенное продвижение в рамках данного направления; ока­зать влияние на прогресс в данной или смежной научной области. Например, при r₂ = 2 – достаточная полезность проекта, 5 – заявка на выдающийся результат.

Конкурсы экономических исследований в России проводятся Кон­сорциумом экономических исследований и образования, созданным в 1995 г. Фондом «Евразия», Фондом Форда, Институтом «Открытое об­щество» Фонда Сороса, Благотворительными трастами «Пью» и Все­мирным банком.

Целью Консорциума является объединение усилий организаций-учредителей по развитию исследовательского потенциала в сфере эко­номики путем создания инфраструктуры для проведения НИОКР, а также содействие реформе экономического образования на террито­рии СНГ.

Фонд «Евразия» – американская некоммерческая организация, предоставляющая гранты на поддержку инновационных и других проек­тов в области экономической и демократической реформы в СНГ.

Фонд Форда – частная благотворительная организация, основан­ная Генри Фордом и его сыном Эдселом, которая содействует процес­сам демократизации и экономических преобразований в Восточной Европе.

Всемирный банк – международная организация, предоставляющая займы, гранты и кредиты на поддержку экономических реформ и про­цесса стабилизации по всему миру.

Институт «Открытое общество» Фонда Сороса работает на пра­вах благотворительного фонда, поддерживает проекты в различных областях и является инициатором многих проектов.

Благотворительные трасты «Пью» – американская благотвори­тельная организация, предоставляющая финансовую поддержку в форме грантов.

В 1995–1996 гг. программами Консорциума управлял Фонд «Евра­зия».

Российская программа экономических исследований ориентирована на поддержку исследований, направленных на решение проблем рос­сийской экономики переходного периода. Финансирование проектов осуществляется в форме индивидуальных грантов российским эконо­мистам в целях:

· поддержки и распространения новых научных методов и идей;

· поощрения прикладных исследований, связанных с решением проблем экономики переходного периода;

· развития исследовательского потенциала путем создания усло­вий для научной работы молодых специалистов;

· содействия укреплению связей внутри научного экономического сообщества на территории России.

К критериям успеха относятся:

Баллы

Заинтересованность пользователя (инвестора, владельца) 19

Поддержка со стороны высшего руководства 16

Четкое формулирование требований 15

Правильное планирование 11

Реалистичность ожиданий 10

Разбивка проекта по этапам 9

Квалифицированный персонал 8

Материальная заинтересованность проектной команды 6

Четкое понимание задач и целей 3

Трудолюбивый, ориентированный на выполнение работы персонал 3