Сбор эмпирических результатов тестирования

Процесс научного обоснования качества теста, его переработки, улучшения можно разбить на три этапа. Этап сбора эмпирических результатов тестирования является первым, начальным шагом. Второй этап — обработка эмпирических данных и третий — интерпретация результатов обработки с целью доведения теста до уровня соответствия определенным критериям качества.

На этапе сбора данных необходимо принять специальные меры, обеспечивающие единообразие процедуры выполнения теста. Стандартизация этой процедуры затрагивает вопросы формирования репрезентативной выборки испытуемых, правильного инструктирования, выбора оптимального времени тестирования, качественных материалов, подходящей окружающей обстановки. Определенное внимание следует уделить подготовке преподавателей, проводящих тестирование, принять меры по предотвращению списывания в процессе выполнения теста. Малейшее отступление от требований стандартизации повлечет за собой снижение достоверности эмпирических результатов выполнения теста. Помимо перечисленных, на результаты выполнения теста может повлиять множество других, менее очевидных факторов. В целом же для обеспечения сбора достоверных эмпирических данных необходимо:

• точно следовать процедурам стандартизации при сборе эмпирических данных, выполняя самые незначительные требования стандартизации;

• регистрировать любые нестандартные условия, приводящие к отступлениям от требований стандартизации;

• учитывать нестандартные условия тестирования при интерпретации результатов выполнения теста.

Большое значение имеет разработка правильных инструкций по выполнению теста, которые следует подготовить как для педагога, руководящего процессом применения теста, так и для учеников, выполняющих тест.

В инструкции для педагога содержатся рекомендации по подготовке группы учащихся к выполнению теста, примерные обязанности педагога на этапе проведения тестирования, рекомендации по подготовке краткого отчета о выполненной процедуре предъявления теста. В целом перед тестированием педагогу необходимо:

1.Объяснить, зачем нужен тест, сообщить, какие результаты ожидаются.

2.Объяснить, почему испытуемые должны приложить максимум усилий для его выполнения, акцентировать внимание испытуемых на возможности проверки своих сил и подчеркнуть соревновательный мотив. При этом педагогу следует иметь в виду, что слишком сильная мотивация, как излишне слабая, в одинаковой степени негативно сказываются на результативности выполнения заданий теста.

3.Медленно, четко, естественным голосом прочесть инструкцию к тесту с примерами, если они имеются. Возможна ситуация, когда испытуемые самостоятельно следят по своим вариантам теста за инструкцией, а педагог зачитывает ее или воспроизводит по памяти.

4.Дать возможность испытуемым потренироваться, решив самостоятельно одну или более задач-образцов, если такие имеются. Проверить, правильно ли понята инструкция по результатам выполнения образцов заданий теста.

5.Сообщить о временном ресурсе, о правилах исправления допущенных ошибок, рассказать о том, чего не рекомендуется делать при выполнении задач и к кому обращаться в случае возникновения вопросов.

6.Вместе с испытуемыми записать, если требуется, паспортные и биографические данные в регистрационных бланках, проследить за правильностью их заполнения.

7.Ответить на имеющиеся вопросы до начала выполнения теста.

8.Раздать тест.

9.Дать команду начать выполнение заданий. Время начала записать самому или попросить сделать это испытуемых на регистрационном бланке.

10. Во время выполнения заданий следить:

• за временем выполнения отдельных субтестов, если это необходимо, как, например, при выполнении скоростных тестов;

• за наличием отточенных карандашей и других материалов;

• за правильностью заполнения паспортной части регистрационных бланков (если замечена ошибка, своевременно ее устранить);

• за тем, чтобы испытуемые не писали на тестовых брошюрах, если иное не предусмотрено;

• за тем, чтобы соседи не общались между собой, не мешали друг другу, не подглядывали друг у друга;

• за состоянием испытуемых;

• за тем, чтобы испытуемые своевременно получили разрешенные инструкцией ответы на вопросы в ситуациях, связанных с процедурой проведения (ответы не должны служить подсказкой для решения или нарушать указания руководства, возможные варианты ответов должны быть предусмотрены в руководстве).

11.После сигнала к окончанию выполнения заданий теста при групповом проведении дать команду сложить брошюры и бланки для ответов в исходное положение или самому собрать (если участвуют не более 30 человек). Если участников тестирования больше 30 человек, то рекомендуется попросить всех остаться на своих местах и передать в начало ряда тестовые материалы в следующем порядке: бланки для ответов, брошюры, черновики. После этого пересчитать количество бланков и брошюр, проверить, чтобы их количество совпадало с числом испытуемых.

12.По окончании тестирования просмотреть все брошюры и стереть отметки в них.

Пример подобной инструкции, используемой сотрудниками Центра оценки качества образования Института общего среднего образования РАО в рамках проводимых ими международных исследований, приводится в приложении 5.1.

Хорошо подготовленный педагог-пользователь выбирает тесты, которые подходят для поставленных целей контроля. Он знаком с научной литературой по тестовой проблематике, способен оценить такие характеристики, как надежность и валидность теста. Он делает выводы и дает рекомендации, только связав тестовые результаты с другой имеющей отношение к цели тестирования информацией об индивиде, что позволяет избежать неоправданных заключений при интерпретации тестовых результатов.

Инструкции для учеников могут иметь различный вид, зависящий от цели создания теста. Они бывают довольно длинными и подробными в том случае, когда выдаются ученикам при подготовке к тестированию или при самостоятельной работе дома. Пример подобной распространенной инструкции, взятой из рекомендаций по самостоятельному выполнению тестов GRE (Graduate Record Examination), приводится в приложении 5.2.

Краткая инструкция для испытуемого может иметь следующий вид.

Инструкция экзаменующемуся

Тест «...» продолжается... часа... минут. 218

1. На тестирование следует прийти не позднее, чем за 5 минут до начала. Опоздавшие не допускаются.

2. Перед началом тестирования вы обязаны зарегистрироваться у экзаменатора.

3. На тестирование необходимо принести ручку, карандаш и ластик.

4.Перед началом работы над тестом вы заполняете контрольный лист: пишите свои имя, фамилию, дату. Заполняется контрольный лист только ручкой.

5. Перед началом тестирования есть организационный момент (5 минут), во время которого экзаменатор объясняет, что вам предстоит сделать, и указывает время, которое дается на выполнение теста.

6. Работайте точно по инструкции экзаменатора. Начинайте выполнение теста сразу после того, как экзаменатор укажет время начала работы. За 5 минут до окончания выполнения экзаменатор предупредит вас.

7. Во время тестирования не разрешается пользоваться словарями, справочниками и разговаривать.

8. Если при выполнении задания вы совершили ошибку, сотрите ошибочную метку на номере (букве) ластиком и отметьте заново правильный ответ.

9. Работайте внимательно и быстро. Если вы не уверены в правильности ответа, лучше пропустите задание и выполняйте следующее. У вас будет возможность вернуться к нему, если останется время в конце работы.

10.Тест содержит избыточное количество заданий, поэтому не огорчайтесь, если в отпущенное время вы выполнили не все задания и не дошли до конца.

11.Задания в тесте расположены в порядке нарастания трудности, поэтому их следует выполнять в предложенном порядке и переходить к следующему, более трудному только после работы над предыдущим, более легким заданием теста.