Предтестовое задание

Каждое из определений приобретает особую важность на раз­личных этапах разработки теста. Исходным является определение предтестового задания, содержащее ссылки на определенные спе­цифические требования, которые выступают в качестве критериев демаркации предтестового задания от традиционных контрольных заданий.

Определение 1. Предтестовое задание — это единица контрольно­го материала, содержание, логическая структура и форма представ­ления которого удовлетворяют ряду специфических требований и обес­печивают однозначность оценок результатов испытуемых в выбранной шкале.

Лучшему пониманию определения способствует краткое ис­толкование его основных положений. При формировании требо­ваний к содержанию всегда возникает вопрос о цели создания тес­та и выборе подхода к интерпретации результатов его выполнения. В рамках выбранного подхода специальными методами проводит­ся анализ содержания учебного курса, позволяющий выделить со­держание предтестовых задании. Они интегративно охватывают систему знаний по контролируемому курсу и включают опорные структурные элементы курса.

Именно отсюда проистекает первое преимущество предтесто­вых заданий, содержание которых отбирается преподавателем не интуитивно, как при традиционном контроле, а на основе специ­ального анализа, выдвигающего ряд научно обоснованных требо­ваний в процессе отбора. (Эти требования и методика отбора еди­ниц контролируемого материала рассматриваются в гл. 3.) В целом содержание предтестового задания не должно быть тривиальным. Правильный ответ на него должен предполагать знание существен­ных элементов содержания дисциплины. Последнее требование полностью исключает возможность правильных ответов, основан­ных на простых логических рассуждениях или здравом смысле [43].

Требования, предъявляемые к предтестовым заданиям, можно условно разделить на специальные, отражающие специфику фор­мы заданий, и общие, инвариантные относительно выбранной фор­мы [53]. К числу последних принадлежат следующие:

• наличие порядкового номера задания, установленного согласно априорной оценке трудности задания и выбранной разработчиком стратегии предъявления заданий теста;

• наличие стандартной инструкции, адекватной форме предтестового задания;

• расположение элементов задания и инструкции на определенных местах, фиксированных в рамках выбранной формы;

• наличие эталона правильного ответа к заданию и правила для оценки результатов его выполнения.

В отличие от общих специальные требования довольно много­численны (они представлены в гл. 4, посвященной требованиям тестовой формы).

Преимущества предтестовых заданий обеспечиваются их чет­кой логической структурой. Предтестовое задание формулируется так, чтобы в его структуре была заложена возможность прямого ответа. Для этого в нем заранее определяется то, что однозначно считается правильным ответом с заранее заданной степенью его полноты. В отличие от предтестовых заданий традиционный контрольный материал порождает многословные ответы, разные по содержанию, по структуре и по степени правильности. Это об­стоятельство значительно затрудняет оценку результатов испыту­емых в процессе традиционного контроля, в то время как хорошо разработанные предтестовые задания обеспечивают простоту оцен­ки ответа ученика благодаря наличию готового эталона для срав­нения. Таким образом, для предтестовых заданий, как правило, исключаются правильные и неправильные в разных отношениях и в разной степени ответы.

Реализации семантических преимуществ предтестовых зада­ний, несомненно, в ряде случаев способствует формулировка ус­ловия в виде утверждения, а не вопроса [23]. Переход к форме выс­казывания позволяет минимумом средств добиться максимальной ясности смысла, поскольку удачно сформулированные в форме утверждения предтестовые задания с выборочными ответами по сравнению с вопросами гораздо более малословны и не порожда­ют разных по содержанию и по структуре правильных ответов. Ко­нечно, абсолютизировать возможности утвердительной формы нет никаких оснований. Встречаются, хотя и довольно редко, задания, содержание которых гораздо короче и понятнее можно выразить именно в виде вопроса. Тем более нет оснований для включения подобных рекомендаций в состав определений, как это сделано в некоторых пособиях по тестовой проблематике [2], поскольку ло­гическая форма утверждения не является существенным призна­ком любого предтестового задания и не отражает необходимую идею инвариантности определений относительно тестовой формы.

Тестовое задание

Качеству предтестовых заданий и степени их соответствия тре­бованиям формы можно дать по-своему полезные априорные оцен­ки, которые явно недостаточны с точки зрения общенаучного под­хода, предполагающего эмпирическую проверку априорных суждений. Отсюда проистекает обязательность эмпирической про­верки заданий, по результатам которой определенная часть предтестовых заданий превращается в тестовые, а оставшаяся часть уда­ляется из теста.

Определение 2.Предтестовое задание называется тестовым, если апостериорные количественные оценки его характеристик удовлет­воряют определенным критериям, нацеленным на проверку качества содержания, формы и на выявление системообразующих свойств за­даний теста.

Как видно из определения 2, далеко не каждое предтестовое задание может быть тестовым. Для этого требуются многочис­ленные проверки и улучшения иногда содержания, иногда формы, а иногда и того и другого. Таким образом, предтестовое задание превращается в тестовое после доведения его характеристик до уровня, соответствующего определенным научно обоснованным критериям качества.

Исследование системообразующих характеристик тестового задания проводится методами корреляционного, факторного и ла­тентно-структурного анализа. В частности, методами факторного анализа можно оценить некоторые аспекты качества содержания заданий теста. Однако что касается интерпретации результатов ана­лиза, то здесь нет и не может быть готовых правил и рекоменда­ций, пригодных на все случаи разработки тестов, поскольку интер­претация оценок — это всегда достаточно сложная аналитическая работа, результаты которой зависят от множества условий, в том числе и от вида создаваемого теста.

Одно из важнейших требований к характеристикам тестового задания связано с оценкой величины корреляции задания с крите­рием. Для итоговых тестов, разрабатываемых в рамках нормативно-ориентированного подхода, в качестве критерия обычно выби­рается сумма индивидуальных баллов испытуемых по заданиям те­ста. Величина коэффициента корреляции является показателем валидности задания теста. (Значения коэффициента корреляции, позволяющие отнести тестовое задание к категории валидных, а также формулы для подсчета коэффициента приводятся в гл. 5.) В целом же можно считать, что, чем выше корреляция, тем более ва­лидным является задание, тем больше оснований для отнесения его к категории тестовых и последующего включения в тест. Однако это утверждение относится не ко всем, а только к отражающим раз­личное содержание заданиям теста [5,11,43].

Конечно, нет никакого смысла включать в итоговый тест за­дания, имеющие одинаковое или сходное содержание и под­меняющие друг друга в процессе проверки. Учитывая это об­стоятельство, можно сформулировать еще одно требование. Оно связано с выявлением степени отличия содержания данного зада­ния от содержания остальных и нацелено на повышение специфич­ности каждого задания теста. При этом можно руководствоваться простым правилом: чем меньше задание коррелирует с другими, тем выше специфичность его содержания, тем больше оно отлича­ется от других заданий теста.

Определенные ограничения на подбор тестовых заданий накла­дывает требование аксиомы локальной независимости, согласно которой вероятность правильного выполнения каждого задания испытуемыми одного уровня подготовки не должна зависеть от ве­роятности правильного выполнения остальных заданий теста [46]. Конечно, в чистом виде требование аксиомы не может быть вы­полнено, однако оно, несомненно, исключает цепочную логику, когда ответ на предыдущее задание входит в число данных к после­дующему заданию теста.

Есть определенные требования к оценкам параметров тестового задания. В первую очередь, это утверждение касается параметра трудности и параметра дифференцирующей способности, оценки которых должны обладать свойством инвариантности относитель­но уровня подготовленности тестируемой группы. Если судить по приведенному требованию, то для отнесения задания к категории тестовых необходима тщательная эмпирическая проверка, сопро­вождаемая специальной обработкой и развернутым анализом ре­зультатов обработки эмпирических данных выполнения теста.

Еще одно требование связано с анализом информационных и характеристических кривых тестовых заданий, построение которых также основано на эмпирических результатах выполнения теста и предполагает использование математического аппарата теории ла­тентно-структурного анализа. Согласно требованию каждое тесто­вое задание должно обладать известной характеристической кривой с приемлемой формой и подходящим расположением, обеспечива­ющим в совокупности с другими кривыми планируемый при созда­нии геометрический образ теста [31,46,47].

Помимо характеристической, каждому тестовому заданию мож­но поставить в соответствие информационную кривую, которая дает представление о точности оценок испытуемых различного уровня подготовки в том гипотетическом случае, когда измерение осуществлялось с помощью только одного данного задания теста. (Подробная методика и алгоритмы построения кривых приводят­ся в гл. 5.)

Из перечисленных выше тестологических требований вытека­ет обязательность многократных эмпирических проверок и пере­работок предтестовых заданий до тех пор, пока они не обретут ста­тус тестовых. Каждая проверка должна сопровождаться обработкой эмпирических результатов и их интерпретацией путем соотнесе­ния с научно обоснованными требованиями к характеристикам тестовых заданий. Выполнение всех требований и общая принад­лежность тестовых заданий к одной и той же системе дают основа­ние для их объединения в тест.