Педагогический тест

В отличие от первых двух определений, довольно инвариант­ных относительно целей создания тестов, определение педа­гогического теста ориентировано на конкретные цели и подходы. В частности, для случая оценки итоговых достижений по одной из учебных дисциплин в рамках нормативно-ориентированного под­хода определение теста может иметь следующий вид.

Определение 3. Итоговый нормативно-ориентированный тест — это система тестовых заданий, упорядоченных в рамках определенной стратегии предъявления и обеспечивающих информативность оценок уровня и качества подготовки испытуемых.

Предложенное определение отличается от многих других, име­ющихся в отечественной и зарубежной литературе. В основном оно предназначено для гомогенного теста, обладающего дисциплинар­ной общностью заданий, однако с определенными оговорками и дополнениями может быть использовано и для гетерогенного теста, охватывающего систему знаний по нескольким учебным дисципли­нам. В последнем случае необходимо изменить требования к характеристикам тестовых заданий. Другой будет и стратегия их упо­рядочения в тесте. В отличие от гомогенного теста, где задания чаще всего располагаются по нарастанию трудности, в гетерогенных тес­тах сохранение принципа нарастания трудности выражается, как правило, в так называемой спиральной или ступенчатой форме.

Гетерогенные тесты бывают двух заметно отличающихся друг от друга видов: полидисциплинарные и междисциплинарные [33]. Полидисциплинарные тесты просты в концептуальном отношении и состоят из гомогенных субтестов по отдельным дисциплинам. Сложности, которые здесь возникают, обычно носят исключитель­но технический характер и связаны с объединением результатов учеников по субтестам для подсчета итоговых баллов по всему полидисциплинарному тесту.

Междисциплинарные тесты гораздо сложнее в концептуальном отношении, но зачастую кажутся проще полидисциплинарных в техническом отношении, особенно на начальном этапе работ по созданию теста. Однако эта кажущаяся легкость оборачивается зна­чительными трудностями, которые нередко становятся непреодо­лимыми при интерпретации результатов выполнения теста, что приводит к профанации самой идеи междисциплинарной оценки. Сложность интерпретации здесь видится в том, что оцениваемые знания и умения относятся к разным учебным дисциплинам и задействуют их в разной степени.

При правильном подходе междисциплинарность должна найти свое отражение в содержании всех заданий, для выполнения которых потребуется применение некоторых обобщенных, интегративных знаний и умений. Включение в тест междисциплинарных заданий заставляет искать ответ на вопрос: в какой степени разработанные за­дания пригодны для оценки измеряемых интегративных свойств и насколько они надежны? Обычно ответ на этот вопрос требует доволь­но серьезных усилий со стороны разработчика теста.

В целом разработка гетерогенных тестов требует обращения к специальным достаточно сложным вопросам репрезентации струк­туры междисциплинарных знаний математико-статистическими методами многомерного шкалирования и в данном пособии не рас­сматривается. Обращение к многомерным статистическим мето­дам вынудило бы авторов книги значительно расширить использу­емый математический аппарат и, несомненно, сузило бы круг заинтересованных читателей. Поэтому вопросы, связанные с гете­рогенными тестами, осознанно исключены из рассмотрения.

Возвращаясь к определению гомогенного нормативно-ориен­тированного теста, необходимо подчеркнуть главную идею — тест образует не любая система заданий, а только та, которая обеспечи­вает информативные оценки уровня и качества подготовки испы­туемых группы. Критерий информативности является ключевым в оценке качества теста, вернее, той грани качества, которая харак­теризует способность теста выполнять функцию средства измере­ния в рамках нормативно-ориентированного подхода для данной выборки учеников.

Оценка информативности носит апостериорный характер. Она построена на подсчете дифференцированной ошибки измерения уровня подготовки каждого испытуемого группы и выявлении диф­ференцирующего эффекта теста. Что касается ошибки измерения, то здесь намечается обратно пропорциональная зависимость, ко­торая не только описывается специальной математической форму­лой, но и хорошо согласуется с обыденным смыслом. Чем меньше ошибка измерения уровня подготовки каждого испытуемого груп­пы, тем больше информации о знаниях или умениях ученика мож­но получить с помощью данного теста. Если ошибка измерения, полученная при оценке подготовки испытуемого, велика, то тест не дает информации о реальном уровне его подготовки и, следова­тельно, цель измерений не достигнута.

Оценка дифференцирующего эффекта связана с анализом рас­пределения тестовых баллов испытуемых группы. Оценка может быть проведена достаточно простым путем визуального анализа гистограммы. Более сложный путь основан на оценке близости эмпирического распределения к нормальному закону с помощью одного из известных критериев нормальности распределения [36]. Если гипотеза о нормальности не подтверждается и тестовые бал­лы учеников слабо дифференцированы, то тест не состоялся, по­скольку не выполняются основные требования нормативно-ори­ентированного подхода.

Из этих утверждений следуют два важных вывода. Первый — нет и не может быть тестов информативных вообще, так как оцен­ка информативности зависит не только от характеристик тесто­вых заданий, но и от уровня подготовки тестируемой группы. Вто­рой — для оценки информативности заданий необходимы эмпирические исследования качества теста на репрезентативной выборке учеников. Таким образом, информативность следует рас­сматривать как меру пригодности теста для выполнения функций средства измерения и дифференциации оцениваемой выборки учеников.

В целом хотелось бы отметить, что в предлагаемом определе­нии выделяется наиболее важное преимущество теста, выгодно отличающее его от традиционных средств оценки знаний учащих­ся. Это преимущество связано с тем, что только тест является ка­чественным средством педагогического измерения, поскольку именно в отношении тестов утвердилась рефлексивная норма обя­зательной проверки их качества. Работа над повышением каче­ства теста консолидирует систему тестовых заданий — постепен­но нарастает внутренняя связь и целостность, интегративность системы, совершается переход от совокупности предтестовых за­даний к профессионально разработанному тесту.