ТОЧНОСТЬ ИЗМЕРЕНИЙ

Как правило, экспертное оценивание или экспертиза проводит­ся в виде опроса или анкетирования группы экспертов. Анкетой называется опросный лист, содержащий вопросы, на которые нужно ответить письменно. Техника экспертизы и анкетирования – это сбор и обобщение мнений отдельных людей. Девиз экспертизы – «Ум хорошо, а два лучше!». Характерные примеры экспертизы: судейство в гимнастике и фигурном катании на коньках, конкурс на звание лучшего по профессии или лучшую научную работу и т.п.

К мнению специалистов обращаются всякий раз, когда осуществить измерения более точными методами невозможно или очень трудно. Порой лучше получить приблизительное решение немедленно, нежели долго искать пути точного решения. Но субъективная оценка значительно зависит от индивидуальных особенностей эксперта: квалификации, эрудиции, опыта, личных вкусов, состояния здоровья и т.п. Поэтому индивидуальные мнения рассматриваются как случайные величины и обрабатываются статистическими методами. Таким образом, современная экспертиза – это система организационных, логических и математико-статистических процедур, направленных на получение от специалистов информации и анализ ее с целью выработки оптимальных решений. И лучший тренер (педагог, руководитель и т.п.) тот, который опирается одновременно на собственный опыт, и на данные науки, и на знания других людей.

Методика групповой экспертизы включает в себя: 1) формулировку задач; 2) отбор и комплектование группы экспертов; 3) составление плана экспертизы; 4) проведение опроса экспертов; 5) анализ и обработку полученной информации.

Подбор экспертов – важный этап экспертизы, так как достоверные данные можно получить не от всякого специалиста. Экспертом может быть человек: 1) обладающий высоким уровнем профессиональной подготовки; 2) способный к критическому анализу прошлого и настоящего и к прогнозированию будущего; 3) психологически устойчивый, не склонный к соглашательству.

Есть и другие важные качества экспертов, но указанные выше должны быть обязательно. Так, например, профессиональная компетентность эксперта определяется: а) по степени близости его оценки к среднегрупповой; б) по показателям решения тестовых задач.

Для объективной оценки компетентности экспертов могут быть составлены специальные анкеты, отвечая на вопросы которых в течение строго определенного времени, кандидаты в эксперты должны продемонстрировать свои знания. Кроме того, полезно предложить им заполнить анкету самооценки своих знаний. Опыт показывает, что люди с высокой самооценкой ошибаются меньше других.

Другой подход к отбору экспертов основан на определении эффективности их деятельности. Абсолютная эффективность деятельности эксперта определяется отношением числа случаев, когда эксперт верно предсказал дальнейший ход событий, к общему числу экспертиз, проведенных данным специалистом. Например, если эксперт участвовал в 10 экспертизах и 6 раз его точка зрения подтвердилась, то эффективность деятельности такого эксперта равна 0,6. Относительная эффективность деятельности эксперта – это отношение абсолютной эффективности его деятельности к средней абсолютной эффективности деятельности группы экспертов. Объективная оценка пригодности эксперта определяется по формуле:

DМ=| M-Mист | ,

где Мист — истинная оценка; М — оценка эксперта.

Желательно иметь однородную группу экспертов, но если это не удается, то для каждого из них вводится ранг. Очевидно, что эксперт представляет тем большую ценность, чем выше показатели его деятельности. Для повышения качества экспертизы стараются повысить квалификацию экспертов путем специального обучения, тренировок и ознакомления с возможно более обширной объективной информацией по анализируемой проблеме. Судей во многих видах спорта можно рассматривать как своеобразных экспертов, оценивающих мастерство спортсмена (например, в гимнастике) или ход поединка (например, в боксе).

Подготовка и проведение экспертизы. Подготовка экспертизы сводится в основном к составлению плана ее проведения. Наиболее важными его разделами являются подбор экспертов, организация их работы, формулировка вопро­сов, обработка результатов.

Существует несколько способов проведения экспертизы. Наиболее простой из них—ранжирование, которое состоит в определении относительной значимости объектов экспертизы на основе их упорядочения. Обычно наиболее предпочтительному объекту приписывается наивысший (первый) ранг, наименее предпочтительному — последний ранг.

После оценивания объект, получивший у экспертов наибольшее предпочтение, получает наименьшую сумму рангов. Напомним, что в принятой оценочной шкале ранг определяет только место объекта относительно других объектов, подвергшихся экспертизе. Но оценить, насколько далеко эти объекты отстоят друг от друга, ранжирование не позволяет, В связи с этим метод ранжирования используется сравнительно редко.

Большее распространение получил метод непосредственной оценки объектов по шкале, когда эксперт помещает каждый объект в определенный оценочный интервал. Третий метод экспертизы: последовательное сравнение факторов.

Сравнение объектов экспертизы с помощью этого метода проводится так:

1) вначале они ранжируются в порядке значимости;

2) наиболее важному объекту приписывается оценка, равная единице, а остальным (тоже и порядке: значимости) — оценки меньше единицы — до нуля;

3) эксперты решают, будет ли оценка первого объекта превосходить по значимости все остальные. Если да, то оценка "веса" этого объекта увеличивается еще больше; если нет, то тогда принимается решение уменьшить его оценку;

4) эта процедура повторяется до тех пор, пока не будут оценены все объекты.

И наконец, четвертый метод—метод парного сравнения—основан на попарном сравнении всех факторов. При этом устанавливается в каждой сравниваемой паре объектов наиболее весомый (он оценивается баллом 1). Второй объект этой пары оценивается в 0 баллов.

Широкое распространение в физической культуре и спорте получил такой метод экспертных оценок, как анкетирование. Анкета здесь представлена как последовательный набор вопросов, по ответам на которые судят об относительной важности рассматриваемого свойства или о вероятности свершения каких-либо событий.

При составлении анкет наибольшее внимание уделяется четкой и осмысленной формулировке вопросов. По своему характеру они подразделяются на следующие типы:

1) вопрос, при ответе на который необходимо выбрать одно из заранее сформулированных мнений (в некоторых случаях каждому из этих мнений эксперт должен дать количественную оценку в шкале порядка);

2) вопрос о том, какое решение принял бы эксперт в определенной ситуации (и здесь возможен выбор нескольких решений с количественной оценкой предпочтительности каждого из них);

3) вопрос, требующий оценить численные значения какой-либо величины.

Опрос может проводиться как очно, так и заочно в один или несколько туров.

Развитие вычислительной техники позволяет проводить анкетирование в режиме диалога с ЭВМ. Особенностью диалогового метода является составление математической программы, предусматривающей логическое построение вопросов и очередность их воспроизведения на дисплее в зависимости от типов ответов на них. В память машины закладываются стандартные ситуации, позволяющие контролировать правильность ввода ответов, соответствие численных значений диапазону реальных данных. ЭВМ контролирует возможность ошибок и в случае их появления находит причину и указывает на нее.

В последнее время квалиметрические методы (экспертиза, анкетирование и др.) все чаще используются для решения оптимизационных задач (оптимизация соревновательной деятельности, тренировочного процесса). Современный подход к задачам оптимизации связан с имитационным моделированием соревновательной и тренировочной деятельности. В отличие от других видов моделирования при синтезе имитационной модели наряду с математически точными данными используется квалитативная информация, собираемая методами экспертизы, анкетирования и наблюдения. Например, при моделировании соревновательной деятельности лыжников нельзя точно предсказать коэффициент скольжения. Его вероятную величину можно оценить путем опроса специалистов по смазке лыж, знакомых с климатическими условиями и особенностями трассы, на которой будут проходить соревнования.

ТОЧНОСТЬ ИЗМЕРЕНИЙ