Установление критериев оценки эффективности

Критерии - это признаки, на основе которых производится оценка, определение или классификация чего-либо. Для целей аудита эффективности критерии - это приемлемые и достижимые стандарты выполнения, с помощью которых можно оценить результативность, экономичность и эффективность аудируемых программ и действий, определить, отвечают ли аудируемые аспекты деятельности или программы ожиданиям, превышают или не достигают их.

Как правило, критерии отражают нормативный (желательный) уровень управления для аудируемой единицы. Они отражают практик) хорошего управления - математическое ожидание рационального и информированного человека («что должно быть») в сравнении с реальными показателями, т.е. с тем, что фактически существует («что есть»).

Необходимые характеристики хороших критериев - надежность, объективность, полноценность, понимаемость, сравнимость, полнота, приемлемость.

Критерии обеспечивают условия для понимания результатов аудита. Планируя аудит эффективности аудиторы, где это возможно, должны точно определять критерии, которыми будут пользоваться. Выбранные критерии должны быть разумными, достижимыми и относящимися к вопросам, которые подвергаются аудиту. Примером возможных критериев могут быть:

а) задачи и цели, предписанные по закону или положению или установленные руководством;

б) стандарты или нормы, подготовленные на основе принятых методик;

в) мнения специалистов;

г) работа (функционирование) в предыдущие годы;

д) деятельность подобных хозяйствующих субъектов;

е) работа в частном секторе.

При финансовом аудите исследуемые сделки могут быть оценены аудитором как «правильные» или «неправильные», «законные» или «незаконные» и т.д. Такие критерии оценки, как правило, достаточны для формирования заключительного мнения аудитора, выражаемого в конце финансового аудита. Эти критерии имеют тенденцию быть относительно закрытыми и обычно предопределяются, например, законодательством. Для аудита эффективности, однако, выбор критериев оценки обычно более открыт. Он определяется прежде всего целями проводимого аудита, потребностями количественной оценки проверяемых предметов. Этот выбор также обычно предопределяется законодательством или установленными нормами, но может быть сделан аудитором и непосредственно. Определяемые в аудите эффективности общие понятия «экономичность», «продуктивность» и «результативность», как правило, интерпретируются относительно проверяемых предметов с помощью выбранных критериев оценки, которые тесно связаны с этими предметами и при изменении предметов проверки также требуют изменения.

Если критерии отражают прежде всего качественную характеристику оцениваемого явления (системы) и служат мерилом достижения цели, то показатели отражают различные количественные измерители самого критерия.

Таким образом, для проведения конкретного аудита эффективности требуется прежде всего установить соответствующие стандарты измерения - критерии, с помощью которых можно осуществлять целенаправленные проверки, давать оценки эффективности и которые послужат основой для выводов и заключений.

Критерии необходимы, чтобы измерить или оценить эффективность программы или вида деятельности организации, являющихся объектом проверки. Они представляют собой разумные и выполнимые стандарты качества работы и контроля, с помощью которых можно осуществить оценку и анализ соблюдения соответствующих правовых норм и законов, адекватности имеющихся систем и процедур, экономии средств, результативности и рентабельности работы.

Основная задача критериев — показывать, какой результат в проверяемой сфере или деятельности объекта проверки является свидетельством хорошей эффективности. Если реальные показатели проверяемой сферы или деятельности объекта проверки соответствуют установленным критериям или превышают их, то это означает, что де­ятельность осуществляется с достаточной степенью эффективности.

Соответствующими критериями являются критерии, которые соответствуют специфике работы проверяемой организации. Эти критерии используются по мере возможности для оценки результатов, которые должны быть достигнуты в рамках данного направления работы, данной системой, механизмом контроля и т.д. Выводы по итогам проверки основываются на оценке соответствия этим критериям.

Для каждого направления конкретной проверки следует выработать соответствующие критерии. Эти критерии должны быть релевантными, надежными, нейтральными, понятными и достаточными. Иногда критерии оценки разделяют на два вида: прямые и непрямые. Так, Методика СП РФ указывает:

«При определении критериев оценки эффективности следует учитывать, что эффективность деятельности проверяемого объекта и эффективность использования государственных средств в результате этой деятельности являются близкими, но не равно­значными понятиями и могут не совпадать.

Поэтому в зависимости от целей проверки возможно применение двух видов критериев оценки эффективности:

а) критерии, характеризующие прямые результаты деятельности объектов проверки;

б) критерии, отражающие конечные социальные результаты их деятельности.

При оценке прямых результатов деятельности проверяемых организаций могут использоваться следующие показатели:

- показатели затрат, т.е. финансовых, трудовых и материальных ресурсов, использованных для получения конкретных результатов (например, больничное оборудование, лекарства, медицинский персонал);

- показатели непосредственных результатов произведенных затрат (например, количество человек, прошедших диспансеризацию, или детей, прошедших вакцинацию; количество проведенных операций и т.п.).

В качестве критериев оценки эффективности прямых результатов деятельности объектов проверки может использоваться соотношение между произведенными затратами ресурсов (в стоимостном выражении) и полученными при этом результатами (объемом выпуска продукции, выполненных работ, оказанных услуг). Так, например, критерием оценки эффективности при строительстве школ и других учебных заведений являются про изведенные затраты в расчете на одно учебное место, а больниц - затраты на одно койко-место.

Вместе с тем в некоторых проверяемых сферах для оценки эффективности прямых результатов деятельности объектов проверки могут использоваться другие критерии. В частности, эффективность прямых результатов деятельности правоохранительных органов можно оценить на основе показателя раскрываемости преступлений, а медицинских учреждений - доли населения, охваченного диспансеризацией, или доли детей, прошедших вакцинацию.

Критерии оценки эффективности конечных социальных результатов деятельности характеризуют последствия для общества, какой-либо части населения или определенной группы людей выполнения органами государственной власти, другими проверяемыми организациями возложенных на них функций, реализации программ или решения поставленных задач. Или, иначе говоря, на основе этих критериев должна даваться оценка результатов предоставления бюджетной услуги для ее получателей.

Например, возможным критерием оценки эффективности деятельности правоохранительных органов, в частности, может являться уровень преступности в стране, органов образования - уровень образованности населения, органов здравоохранения - соотношение заболевших и выздоровевших за определенный период, уровень детской смертности и т.п. На основе выбранных критериев в процессе проверки определяется степень достижения поставленных социальных целей (в процентном или количественном выражении) и тем самым даются оценки социальной эффективности деятельности объектов проверки в соответствующей сфере.

Таким образом, при проведении проверок эффективности использования государственных средств органами государственной власти и другими получателями бюджетных средств необходимо, в зависимости от поставленных целей, выбирать критерии оценки эффективности как прямых, так и конечных социальных результатов их деятельности.

Объем работы, который необходимо выполнить для того, чтобы обеспечить соответствие выбранных критериев, зависит от источников данных критериев. Основными источниками критериев являются:

- соответствующие законы и правила;

- стандарты, разработанные признанными профессиональными организациями;

- отчеты проверяемых организаций о планах работы и приоритетных направлениях деятельности, а также отчеты о проделанной работе;

- общепринятые нормы, которыми руководствуются в практической деятельности;

- стандарты, установленные проверяемыми организациями;

- инструменты, созданные специально для проведения данной проверки путем адаптации критериев, использовавшихся в ходе аналогичных проверок, или же разработанные на основе стандартов и методов, применяемых другими организациями, выполняющими аналогичные виды работы;

- материалы предыдущих проверок, осуществленных контрольно-счетным органом.

Как правило, проверяющие могут использовать критерии, базирующиеся на соответствующих законах или общепризнанных профессиональных стандартах. В этом случае им следует удостовериться только в том, что эти критерии соответствуют цели конкретной проверки. Источниками критериев для проведения аудитов эффективности могут также являться механизмы внутреннего контроля, стандарты, меры, обязательства достичь определенных результатов и целей, утвержденные руководством проверяемой организации или предписанные вышестоящими ведомствами. В случае, если данная организация разработала разумные и конкретные критерии для оценки собственной работы, проверяющим необходимо изучить те из них, которые имеют отношение к данной проверке, и удостовериться в том, что эти критерии являются обоснованными и достаточными. Группа проверяющих может проконсультироваться с профессиональными организациями или иными организациями, осуществляющими аналогичную деятельность или выполняющими аналогичные виды работ, для того чтобы проверить качество стандартов, применяемых проверяемой организацией, или выявить передовые методы работы. Если выясняется, что разработанные проверяемой организацией стандарты являются соответствующими и достаточными, они могут использоваться в качестве критериев данной проверки.

Если в проверяемой организации нет обоснованных и соответствующих целям проверки стандартов для измерения или оценки результатов работы, проверяющие должны выявить подходящие критерии. При этом можно использовать общепринятые критерии, источником которых являются соответствующие законы и правила, и стандарты, разработанные профессиональными ассоциациями и признанными организациями экспертов. Если таких критериев не существует, проверяющие могут использовать данные о работе других организаций как в государственном, так и в частном секторах, которые осуществляют аналогичную деятельность или выполняют аналогичные виды работ. Кроме того, проверяющие могут использовать с этой целью передовые методы работы, которые выявляются путем сравнительной оценки исходных данных или в ходе консультаций, и стандарты, разработанные ими на основе анализа задач, которые призвана решать проверяемая организация, или направления деятельности этой организации.

При выборе критериев оценки эффективности следует руководствоваться тем, что выбранные критерии должны соответствовать специфике проверяемой сферы или деятельности объекта проверки и служить основой для получения результатов аудита.

Выбор соответствующих критериев оценки эффективности является залогом успешного проведения аудита, поскольку его выводы делаются на основе сравнения установленных критериев (что должно быть) с фактическими данными, полученными в процессе проверки (что есть на самом деле).

Используемые при проверке критерии оценки деятельности должны быть понятны и руководителям проверяемых организаций, и потенциальным пользователям отчета о результатах аудита эффективности.

В связи с этим обычно требуется, чтобы руководитель аудита обсудил с руководителями аудируемой организации цели аудита и применяемые критерии и, по мере возможности, получил от них в письменном виде комментарии и замечания, касающиеся приемлемости этих критериев. Кроме того, требуется, чтобы он пояснил руководству этой организации, в чем, по мнению членов группы проверяющих, заключаются функции и обязанности руководителей данной организации в контексте того подхода, который был выбран для проведения данного аудита. Если руководители проверяемой организации не согласны с тем, как аудиторы понимают функции и обязанности в области руководства, или если они считают, что выбранные критерии не являются приемлемыми, а возникшие разногласия не могут быть устранены, руководитель аудита должен проконсультироваться с руководством кон­трольно-счетного органа, прежде чем приступать к проверке. Ни в коем случае нельзя осуществлять проверку, используя критерии, которые могут привести к необъективным или вводящим в заблуждение результатам аудита.

При наличии разногласий с руководством аудируемой организации, касающихся критериев проверки или обязанностей руководителей, об этом следует сказать в соответствующей главе отчета, пояснив, почему проверяющие считают, что руководители отвечают за данный вопрос и/или почему они использовали данные критерии, несмотря на возражения руководства проверяемой организации.

Блок-схема исследования вопросов эффективности приведена на рис. 5.

		Измерение
	Отчет		Отчет. Определить причины

Да Нет

Да Нет

Да

Нет

Рис. 5 Блок-схема исследования вопросов эффективности