Минимизация ошибок измерения

В процессе повышения точности измерений путем минимиза­ции действия неслучайных факторов особенно важен первый шаг, связанный с отбором содержания заданий теста. Ведь всегда есть сомнения в том, что задания сделаны удачно. Всегда необходимо подтвердить тот факт, что содержание заданий «работает» на оцен­ку значений концептуально выделенной переменной измерения. Причем для разрешения сомнений одной интуиции разработчика явно недостаточно. Как правило, обоснование качества содержа­ния заданий требует систематических исследований, скрепленных общим замыслом и основанных на определенной методике. Если по результатам исследований становится ясно, что содержание большинства заданий позволяет локализовать положение испы­туемых группы на выбранной шкале, то тест рассматривается как пригодный для оценки переменной измерения и есть все основа­ния для вывода об успешной работе авторов теста.

Один из вариантов исследования основан на методах факторного анализа, с помощью которых можно структурировать содержание заданий теста, хотя и весьма эффективным, но все же довольно слож­ным путем. Другой метод, несомненно более удобный для повсед­невного употребления в процессе разработки тестов, рассмотрен в упомянутой ранее работе [59]. Он связан с визуальным анализом профилей ответов репрезентативной группы испытуемых на различ­ные по трудности задания теста, и потому его можно трактовать как очередной этап визуализации результатов измерения.

Используемые во втором методе термины нуждаются в неко­торых дополнительных пояснениях. В частности, необходимо кон­кретизировать представления о профиле ответов ученика на зада­ния теста. Если за каждый правильный ответ на задание ученику давать один балл, а за неправильный ответ или пропуск задания — нуль баллов, то профиль ответов выглядит как последовательность единиц и нулей, полученных учеником при выполнении теста.

Когда задания в тесте ранжированы по нарастанию трудности, анализ характера упорядочения нулей и единиц в профиле ответов испытуемого дает ценную информацию о качестве его структуры знаний. Правильному профилю, где все нули следуют за всеми еди­ницами, отвечает правильная структура знаний. Ученик без про­пусков выполняет верно все, что знает, и получает только нули при выполнении более трудных, еще не освоенных им заданий теста. Если найдется ученик с высоким тестовым баллом, не сумевший выполнить правильно хотя бы одно легкое задание из начала теста, то возникает вопрос о несоответствии его структуры знаний требо­ваниям педагога.

При оценке качества структуры знаний за основу естественно выбрать предположение: чем легче задание, тем вероятнее успех ученика при его выполнении. Возвращаясь к примеру на рис. 2.6 в рамках сделанного предположения, можно утверждать, что пра­вильный профиль ответов испытуемого, справившегося успешно с тремя из четырех заданий теста, имеет вид: 1110.

Соответственно точка, локализующая значение истинного балла испытуемого на оси переменной, расположится правее первых трех легких заданий, но левее четвертого, самого трудного задания теста.

В случае появления нулей на местах, соответствующих более легким, чем четвертое, заданиям теста, возникают инвертиро­ванные профили, которые для рассматриваемого примера могут иметь вид: 1101, или 1011, или 0111.

Конечно, наиболее неправдоподобным является последний случай, когда испытуемый не справился с самым легким заданием теста. Для характеристики меры инвертированности профилей вво­дится специальный индекс структурированности знаний, который довольно удобно использовать при дифференциации по качеству подготовки учеников, выполнивших одинаковое количество зада­ний теста. Оценка значений индекса основывается на подсчете чис­ла ошибок в профилях испытуемых и проводится по специальным формулам, применяемым в массовом тестировании за рубежом (в работе они не рассматриваются из-за риска отвлечься от основной темы обсуждения).

В некотором уточнении нуждается термин «репрезентативная группа», который в данном контексте обретает несколько не­привычный смысл. В отличие от общепринятой трактовки здесь речь идет о группе учеников, охватывающих по уровню подготовки до­вольно широкий диапазон значений переменной измерения и об­ладающих по возможности правильной структурой знаний в рамках содержания теста. Последнее требование продиктовано желанием сузить круг различных причин, порождающих инверсии в профи­лях ответов учеников на задания теста. В результате появляется определенная уверенность в том, что большинство инверсий в профи­лях ответов учеников вызвано просчетами авторов при отборе со­держания заданий, а не пробелами в знаниях тех, кто выполнял этот тест, и потому разработчику можно целиком сосредоточиться на оценке состоятельности содержания отдельных заданий теста.

Действительно, если репрезентативная группа испытуемых оценивается по одной, а не по нескольким переменным и задания теста ранжированы по нарастанию трудности, то появляется воз­можность проведения сравнительного анализа ошибок в инвер­тированных профилях ответов на задания теста. Внимательный осмотр элементов профилей, стоящих не на своих местах, позво­ляет выявить случаи явной несостоятельности содержания отдель­ных заданий теста.

В этой связи возникает вопрос дифференциации систематиче­ских и случайных ошибок. Поскольку различия между первым и вторым видами ошибок не носят явно выраженного критери­ального характера, то вводится простое нестрогое правило, кото­рое легко соотнести с эмпирическими результатами выполнения теста. Например, если сильный ученик отвечает неправильно на легкое задание теста, то полученный нуль является, скорее всего, результатом случайной ошибки, описки либо простой невнима­тельности со стороны ученика, т.е. носит исключительно случай­ный характер. Совсем иначе обстоит дело в том случае, когда груп­па сильных учеников выполняет неправильно одно и то же легкое задание теста. Тогда ошибка имеет явный систематический харак­тер, и потому возникает вопрос о несостоятельности задания. Как правило, ошибка бывает вызвана просчетами разработчика теста. Причины несостоятельности могут быть самыми разными. Чаще всего несостоятельность порождается тем, что содержание задания допускает двусмысленное толкование у хорошо подготовленных учеников либо вообще ориентировано на выявление других знаний и умений, не относящихся к оценке значений рассматриваемой переменной измерения.

Аналогичный вывод о несостоятельности можно сделать в том случае, когда группа слабо подготовленных испытуемых успешно справляется с каким-либо трудным заданием из конца теста. Правда, здесь единичные случаи правильных ответов слабых уче­ников могут быть следствием угадывания, списывания или дру­гих форм искажения данных. Однако, как и ранее, устойчивый характер алогичных результатов учеников указывает в основном на несостоятельность содержания отдельных заданий теста. Ко­нечно, нет никаких сомнений в том, как поступить с несостоятельными заданиями. Вполне понятно, что они должны быть исключены из теста.

Термин «состоятельность» в педагогической литературе нередко заменяется другим достаточно близким по смыслу. В этом случае говорят не о состоятельности, а о валидности заданий, т. е. об их пригодности служить поставленной цели измерения. Таким обра­зом, подводя итог сказанному, можно отметить, что включение в тест невалидных заданий порождает серьезные концептуальные трудности, связанные с необходимостью искать ответ на вопрос: в какой степени допустимо измерять данным набором заданий одну и ту же характеристику знаний учеников — концептуально выде­ленную переменную измерения?

В целом же при создании гомогенного теста следует стремиться к поиску заданий, валидных для измерения, главным образом, од­ного какого-либо свойства, и минимизировать соответственно чис­ло заданий, которые могут оказаться валидными для оценки дру­гих свойств.