Анализ распределения судейских оценок для построения шкалы равных интервалов

Анализ распределения судейских оценок производится пу­тем исчисления медианы и отклонений от медианной точки.

Подсчитаем судейские оценки для одного из суждений по табл. 5. Имея такое распределение, построим график, где по вертикали отложим кумулятивный процент, а по горизонта­ли — шкалу из 11 интервалов. Кривая пересекает вертикали в точках, соответствующих медианной оценке для двух со­седних пунктов на шкале. Поэтому они оцениваются дробями: 3,5 или 6,5, но не 3 или 6 (рис. 7).

В районе 0 — позитивный полюс, 5 — нейтральный, 11 — негативный. Медианная оценка определяется по среднему пер­пендикуляру на базовую шкалу из 11 пунктов. Перпендику­ляр опущен из точки, разделяющей ранжированный ряд су­дейских решений ровно пополам. Цена суждения по медиане в нашем случае: S = 8,5.

Определим, насколько единогласны судьи в своих решени­ях об этом суждении по квартальному отклонению (Q):

Q=Va(Q3 - Q,);

или для нашего примера

Q=V2(9,3 - 7,3)=1,0.

(5) В итоговую шкалу отбираются суждения, получившие наиболее согласованные оценки. Например, если имеются три суждения со сходной ценой (скажем, от 8,1 до 9,2) и с квартальными отклонениями, равными 1,0; 1,3; 1,5, то в итоговую шкалу отбирается суждение с Q=l,0, как получившее наиболее согласованную оценку судей.

В окончательном виде шкала обычно содержит от 15 до 30 суждений, каждое из которых имеет "цену" или "вес", опре­деленный по медиане судейских решений.

Очевидно, что, коль скоро арбитраж 50 судей позволил най­ти пороги различения между суждениями, шкалу можно при­знать метрической шкалой равных интервалов с отсчетом от О.

(6) Для использования в массовом опросе все суждения тасуются как игральные карты. Опрашиваемые выражают согласие или несогласие с каждым из предложенных сужде­ний. Цена суждения в опросном листе не проставлена: веса всех суждений записаны в инструкции по обработке данных.

(7) Индивидуальный ранг опрошенного по шкале Тёрсто-уна определяется как медиана весов принятых им суждений. Например, в ответах некоего лица содержится всего четыре принятых суждения (все остальные им отвергнуты) с весами (S): 4,4; 4,8; 5,1; 5,6; 6,1. Тогда ранг индивида соответствует медианной оценке 5,1. При четном числе принятых пунктов медианный ранг можно принять как среднеарифметическое интервала, в котором лежит медиана.

(8) Ранговая позиция группы опрошенных определяется как среднеарифметическая рангов всей совокупности, состав­ляющей группу.

Обоснованность и устойчивость шкалы можно проверить с помощью уже известных нам приемов: использование незави­симого критерия, контроль по известной группе, повторное из­мерение с интервалом во времени.

Не обязательно начинать отбор суждений со столь боль­шого числа вариантов, как это делал Тёрстоун. Наша практика показывает, что 30—50 суждений вполне достаточны для су­дейского отбора, после которого определится десяток вполне приемлемых пунктов шкалы. Также не обязательно вовлекать в работу очень большое число судей: можно получить статис­тически устойчивые данные на 50—60 экспертах.

Снижение точности замера за счет снижения дробности шкалы существенно повышает ее надежность. Если предлагать судьям расположить суждения не в 11, а в 5 интервалов, ито­говая шкала будет более надежна, но менее точна. Выбор в пользу большей—меньшей точности зависит от предмета ис­следования и значимости гипотез, а также от того, насколько точно измеряются в нем другие переменные. Если большинство переменных измеряется по трехчленным и пятичленным шкалам, но только одна — по 11-членной шкале, и притом все переменные подлежат взаимной корреляции, в этом случае повышенная точность 11-членной шкалы — излишняя рос­кошь. Она не оправдывается логикой сопоставления с други­ми переменными.

Работа с экспертами, аналогичная описанной выше, широ­ко применяется и в других случаях, когда мы обращаемся к выборочной группе из массива обследуемых для того, чтобы глазами будущих испытуемых проверить соотносительную значимость оценок, придаваемых пунктам шкалы [232. С. 109—128].