Преобразование шкал логитов

В процессе преобразования можно выделить два момента. Первый — это умножение всех значений параметра на один и тот же шкалирующий множитель для перевода результатов в область целых чисел. Второй — перенос всех значений параметра на множество положительных чисел путем прибавления некоторой константы, позволяющей избавиться от всех отрицательных оценок параметра 9. Второе преобразование, связанное с выбором нового начала шкалы, выполнить довольно просто. Например, если оценки параметра 0 расположены в интервале (-5,8; 5,2), то прибавление константы 10 позволит исключить из рассмотрения отрицательные числа. В результате оценки испытуемых будут располагаться в интервале (4,2; 15,2) и число 4,2 можно считать началом новой шкалы.

Гораздо сложнее обстоит дело с первым преобразованием, поскольку неправильный выбор шкалирующего множителя и последующее округление результатов могут свести на нет все усилия по дифференциации испытуемых с помощью теста. Неудачный выбор размерности новой шкалы, связанный с введением шкалирующего множителя, неизбежно приведет к потере полезной информации о подготовке учеников. Например, интервал (4,2; 15,2) легко преобразовать в промежуток (42; 152), выбрав в качестве шкалирующего множителя число 10 и округлив все полученные результаты до целых. Однако такой выбор шкалирующего множителя вызовет потерю информации, если в группе были испытуемые, незначительно отличающиеся, но все же разные по подготовке с 0, = 4,25 и 6₂= 4,23. После перевода в новую шкалу и тот и другой испытуемый получат балл 42.

Именно поэтому в процессе преобразования шкалы логитов первостепенное значение придается правильному выбору шкалирующего множителя, и операция умножения всех значений является первым преобразованием. После выбора новой единицы и установления новой размерности осуществляется перенос всех шкалированных значений на множество положительных чисел.

В общем виде преобразование шкалы логитов можно записать как

где Q, и b₂ — оценки параметров испытуемых и заданий соответственно на множестве положительных целых чисел; 0 и р — оценки параметров в интервале (—5; 5) шкалы логитов; а — константа переноса, определяющая начало новой шкалы; у — шкалирующий множитель, определяющий ее размерность.

Стандартные ошибки измерения преобразуются по формулам

SE(Q,) = ySE(Q);

SE(b,) = ySE(b),

где SE(pj) и SE(0₂) — новые стандартные ошибки измерения. Для выполнения преобразования необходимо выбрать станты а и у, вернее, именно константу у, так как а может быть выбрана множеством способов. Процесс выбора приемлемых значений для у основан на анализе перехода наименьшей наблюдаемой разницы сырых баллов (LOD) в наименьшую разницу (LMD) оценок параметра 0 в шкале логитов. В рамках другого подхода оценка шкалирующего множителя у основана на анализе значений стандартной ошибки измерения 9.

Вне зависимости от подхода все исследователи связывают значение у с длиной теста. Как правило, у выбирают на основании одного из трех неравенств

В качестве обобщения различных подходов к выбору шкалирующего множителя у предлагается табл. 7.8, где сообразно трем неравенствам, приведенным выше, даются возможные минимальные значения у,, у₂ и у₃.

Таблица 7.8. Минимальные значения множителя у

Анализ табл. 7.8 показывает, что выбор шкалирующего множителя целиком зависит от длины теста. В практике деятельности тестовых служб обычно останавливаются на значениях у=10, так как редко применяются тесты, включающие менее 30 заданий. При фиксированной длине теста значение множителя будет зависеть целиком от желания пользователя добиться определенного уровня дифференциации тестовых баллов испытуемых. При этом необходимо помнить о том, что уменьшение размаха шкалы огрубляет оценки, а увеличение — повышает ошибочный компонент. При у= 10 стандартная ошибка измерения увеличится в 10 раз, а при у = 100 — в 100. В целом же и то и другое ухудшает качество сырых оценок. Поэтому при выборе у недопустимо как неоправданное занижение, так и излишнее завышение у.

Конечно, оценки латентных параметров в логитах можно подвергать и нелинейным преобразованиям, однако линейное преобразование предпочтительнее, так как оно сохраняет интервальный характер шкалы. Среди линейных наиболее распространенным является преобразование при

а = 50, у=4,55, предложенное Чопином (Chopin). В этом случае

В результате линейного преобразования с а = 50 и у= 4,55 получают положительные значения вир, расположенные в интервале (30, 70), которые затем округляют до целых. Новые значения латентных параметров 0 и р представлены в так называемой шкале W, или Wits [5]. Выбор значений а и у обусловлен соображениями удобства, поскольку при увеличении значения |6 - р| на 5 единиц по сравнению со значением 0 - р = 0 вероятность правильного выполнения задания возрастет или уменьшится в 3 раза.

Другое линейное преобразование связано с именем Вудкока (Woodcock). В определенной им шкале для Woodcock—Johnson Psycho-Educational Battery

.

Уровень трудности заданий пересчитывается по формуле В шкале Вудкока значениям разности 0 — р=20,10,0, —10,20 соответствуют вероятности правильных ответов 0,90; 0,75; 0,50; 0,25; 0,10.

К разряду линейных относится преобразование Райта (Wright) [59] при , когда

Подводя итог сказанному, можно отметить, что при переходе от сырых показателей к производным используются шкалирующие модели двух классов. В рамках первого строятся шкалы, основанные на оценке различий между сырыми баллами и нормативными показателями, определенными в процессе стандартизации теста. При этом предполагается, что есть некоторая связь между уровнем подготовки испытуемого и алгебраической суммой баллов, полученной им в результате выполнения теста. Этот класс моделей применяется в рамках классической теории тестов и позволяет реализовать, как правило, порядковую, а в лучшем случае квазиинтервальную шкалу.

Второй класс моделей имеет дело с зависимостями между сырыми баллами и производными показателями, получаемыми как для заданий, так и для испытуемых в одной и той же шкале. Сопоставление таких, казалось бы, несравнимых величин проводится в шкале логитов переменной, обеспечивающей общую единицу измерения для уровня знаний испытуемых и трудности заданий теста. Шкала латентных переменных подвергается одному из линейных преобразований для сообщения результатов испытуемым, выполнявшим тест. Параметры преобразования выбираются из соображений удобства, однако так, чтобы не потерять никакой полезной информации, полученной в процессе применения теста.

Выводы

1.Шкалирование тестовых баллов предназначено для выявления истинных различий в уровне подготовки испытуемых при интерпретации результатов выполнения теста.

2.Адекватность интерпретации достигается путем сопоставления индивидуальных результатов с нормами выполнения теста.

3.Профессионально разработанные нормативно-ориентированные тесты проходят обязательный процесс стандартизации, суть которого заключается в определении норм теста.

4.Операция шкалирования первоначальных эмпирических данных предполагает различные уровни измерения, среди которых оптимальным является интервальный, позволяющий построить количественную шкалу с определенной единицей измерения.

5.Каждая из шкал имеет свои достоинства и свои недостатки. Среди многих других наиболее предпочтительной является шкала логитов, обеспечивающая сравнение оценок параметров трудности заданий и уровня подготовки испытуемых благодаря введению единой единицы измерения. .

ВОПРОСЫ И ЗАААНИЯ

1. Какие нормы теста вы знаете?

2. Как называется процесс определения норм теста?

3. Приведите примеры измерения величин в номинальной шкале и шкале отношений.

4. Предположите, что группа учеников выполняла ранжированные по нарастанию трудности задания теста. Если индивидуальные баллы четырех учеников таковы, что X₁ = 5, X₂=10, Х₃= 40, Х₄ = 45, то имеет ли смысл интерпретировать равенство Х₂ – Х₁ - Х₄ — Х₃ при сопоставлении результатов учеников?

5. Можно ли выбрать единую шкалу тестовых баллов и пользоваться ею в любых шкалах и любых тестах?

6. Переведите в Z-шкалу сырые баллы 10 учеников: Х₁ = 2,Х₂ = = 7,Х₃=\, Х₄ = 5,Х₅ = 5, Х₆ = 11, X₇ = 9,X₈ = 2, X₉=15,X₁₀ = 3, выполнивших 25 заданий теста.

7. Установите соответствие.

Возможность оценить

A) Во сколько раз один ученик знает больше другого

Б) Наличие или отсутствие планируемого уровня подготовки

B) На сколько один ученик знает больше другого

Г) Ранг ученика