МЕТОДИКА ТЕСТИРОВАНИЯ ЯЗЫКОВЫХ НАВЫКОВ И РЕЧЕВЫХ УМЕНИЙ

1. Преимущества тестов как метода контроля учебных достижений учащихся

Тестирование - это современный, прогрессивный метод оценки языковых знаний, который должен быть активно использован в практике преподавания и организации учебного процесса.

Тестовая методика представляется эффективным средством интенсификации и рационализации как процесса обучения в целом, так и иностранному языку в частности, если тест составлен на основе методических рекомендаций. Именно в этом случае он служит основой для получения системы объективных показателей знаний, умений и навыков обучающихся необходимых для решения таких важнейших задач осуществления управления процессом обучения и контроля, как:

а) установление уровня сформированности способностей, знаний, умений и навыков;

б) выявление языковых трудностей;

в) осуществление начальной, текущей и конечной диагностики уровней
усвоения и развития, т.е. учета успеваемости учащихся;

г) определение пути дальнейшей работы с обучающимися и т.д.
Проблема учёта успеваемости школьников и студентов в процессе обучения,

а также контроля и оценки их знаний, умений и навыков может быть решена использованием тестовой методики контроля, что объясняется следующими особенностями тестов:

а) относительно более высокой степенью объективности при фиксации
результатов, т.е. независимостью оценки от мнения лиц, проводивших тест;

б) возможностью количественно охарактеризовать объём усвоенных знаний;

в) удобством для работы с современными техническими средствами
оперативной обратной связи, обеспечивающими как отсроченную, так и
оперативную связь - от перфокарт до обучающих комплексов на базе
компьютерных классов;

г) наличием особых критериев эффективности - коэффициентов сложности и надёжности, получаемых статистическими методами;

д) возможностью совершенствования тестов на основе результатов
экспериментальной проверки;

е) лёгкостью проведения и подсчёта результатов тестирования;

ж) экономией во времени, затрачиваемого на выполнение теста и его
проверку;

з) удобством для массовой проверки.

Базой тестовой методики контроля в настоящее время является математико-статистический аппарат, без применения которого тесты не могут быть действенным и надёжным средством измерения уровня знаний, умений и навыков. Использование математико-статастических методов при тестировании делает возможным:

а) определение баллов и рангов;

б) нахождение средних величин, стандартных отклонений;

в) определение степени надёжности полученных данных;

г) определение и повышение (в случае необходимости) действенности и
надежности самих тестов.

2. Тестовое задание: формы и виды

Сегодня наша цель - определить, что есть тестовое задание, какова их форма и структура, требования к тестовым заданиям, принципы формирования заданий и ответов, соотношение форм заданий в тесте, оптимальное время тестирования и т.д.

Педагогический тест - это система параллельных (фасетных) заданий возрастающей трудности, специфической формы, которая позволяет качественно и эффективно измерить уровень и структуру подготовки испытуемых.

Тест состоит не из заданий в тестовой форме, не из вопросов и задач, а только из тестовых заданий.

Тестовое задание - это варьирующая по элементам содержания и по трудности единица контрольного материала, сформулированная в утвердительной форме предложения с неизвестным. Подстановка правильного ответа вместо неизвестного компонента превращает задание в истинное высказывание; подстановка неправильного ответа приводит к образованию ложного высказывания. Последнее свидетельствует о незнании учащимся данного учебного материала.

Тестовое задание - это составная единица теста, отвечающая требованиям к заданиям в тестовой форме и, кроме того, статистическим требованиям:

1. известной трудности;

2. дифференцирующей способности (достаточной вариации тестовых
баллов);

3. положительной корреляции баллов задания с баллами по всему тесту, а
также другим математико-статистическим требованиям.

Тестовое задание включает в себя:

а) констатирующую часть, описывающую ситуацию (может и
отсутствовать), которая не требует от тестируемого каких-либо действий;

б) процедурную часть, содержащую предложения обучаемому выполнить
какие-либо конкретные действия - выбрать правильный элемент из
предложенного набора, установить соответствия или правильную
последовательность, назвать дату, записать название и т.д. Процедурная часть
это такой вид информации, после получения которой от тестируемого
требуется произвести активные действия, связанные не только с изучением и
анализом материала, содержащегося в задании, но и составлением и вводом
ответа;

в) элементы самого выбора (соответствия, перестановки).
Формы тестовых заданий (по В.С.Аванесову):

- с выбором ответа;

- открытой формы;

- на установление соответствия;

- на установление правильной последовательности.

Формы тестовых заданий (по Голландскому институту CITO):

- задания открытого типа;

- вопросы множественного выбора;

- устный экзамен;

- задания на технику исполнения.

3. Принципы конструирования тестовых заданий

1. Общие требования (для всех форм тестовых заданий)

2. Специальные требования (к различным формам тестовых заданий). Общие требования для всех четырех форм тестовых заданий:

1. Цель (для слабого/сильного студента, диагностики, самостоятельной
работы студентов).

2. Стандартная инструкция.

3. Конкретность формулировки задания (не должно быть разночтений).

4. Лапидарность (точность и краткость формулировки).

5. Формулировка тестовых заданий в утвердительной форме.

6. Не допускается двойное отрицание.

7. Не допускается определение понятия через перечисление элементов, не входящих в него.

8. Желательно допускать не более одного сложноподчинённого предложения в формулировке.

9. Соблюдение требования локальной независимости, т.е. для испытуемых одного уровня знаний вероятность правильного ответа на одно задание не зависит от вероятности правильного ответа на другое задание.

10. Для каждого тестового задания разрабатывается правило начисления баллов.

11. Процедурная часть должна быть максимально краткой (не превышать 5-10 слов).

12. Оптимальное число вариантов ответов - 4-8.

13. Отбор элементов ответа по определённому принципу (принцип однородности).

14. С целью нивелирования заимствования ответа у соседа надо формулировать тестовые задания в двух-трёх синонимичных по смыслу вариантах, которые выбираются случайным образом.

Кроме того, существуют специальные требования к тестовым заданиям различной формы:

I. Тестовые задания с выбором правильного ответа (закрытая форма):

- равная правдоподобность и привлекательность элементов тестового
задания;

- все альтернативы, желательно, должны быть равны по длине (стремиться к минимуму);

- в элементах выбора должно быть равное количество объектов, желательно один;

- исключаются вербальные ассоциации, способствующие выбору
правильного ответа;

- не должно быть противоречий между основной частью и ответами
(элементами выбора);

- исключить повторение слова в ответах;

- все элементы должны быть верными утверждениями, только один из них является верным ответом на данное задание, а остальные - верными на другие задания в других тестах;

- простая синтаксическая конструкция с одним сложноподчинённым предложением (5-7 слов в формулировке тестового задания);

- исключаются тестовые задания, содержащие оценочные суждения и мнения разработчика;

- при формулировке дистракторов не рекомендуется использовать такие слова, как «все», «ни одного», «никогда», «не один из перечисленных», «всё перечисленное», «всегда» и т.п., способствующие угадыванию (дистракторы -неверные, отвлекающие ответы).

2. Открытая форма тестовых заданий:

- дополняющее слово или словосочетание ставится в конце и должно быть единственным;

- дополнять надо наиболее важное;

- желательно, чтобы дополнение было в именительном падеже;

- все прочерки для дополнения должны быть одинаковой длины;

- следует дать образец выполнения тестового задания.

3. Тестовое задание на установление соответствия:

- содержание задания желательно выразить в виде двух множеств с
соответствующими названиями;

- элементы задающего столбца располагаются слева, а элементы выбора -справа;

- правый столбец должен содержать на 1-3 элемента больше, чем левый, чтобы при последней подстановке у учащихся был выбор, а не автоматически подставляемый остаток;

- формирование элементов по принципу «основных» и «запасных» игроков;

- все элементы выбора являются истинными высказываниями;

- в инструкции к заданию необходимо сообщить, сколько раз используется каждый элемент правого столбца (один или более).

4. Тестовое задание на установление последовательности:

- элементы формируются по алфавиту. Если алфавитный список является
верным ответом, то элементы располагаются случайным образом.

4. Характеристики и спецификация тестов

В настоящее время тестологии выдвигают до 300 оснований для типологии тестов.

По характеру: вербальные и невербальные.

По классификации: ориентированные на норму (лёгкость - трудность заданий) и ориентированные на критерий (слабый - сильный студент).

По степени однородности задач: гомогенные (по одной дисциплине) и гетерогенные (по нескольким дисциплинам).

По степени трудности: одноуровневые (с весовым коэффициентом - 1) и многоуровневые (с весовым коэффициентом от 0 до N). Нулевой коэффициент даётся т.н. «разминочным» заданиям, которые не учитываются при суммировании в контроле и ставятся в начале теста единым блоком. Они используются с целью адаптации обучаемых, снятия напряжения, чтобы придать им уверенность в своих силах.

Если в тесте нет достаточного числа лёгких и трудных заданий, то возникает вопрос о его сбалансированности по трудности, суть которого можно свести к тому, что обычно основой теста служат задания средней трудности, присутствует незначительное число лёгких и трудных заданий; в тесте должно быть 1-2 задания, которые не может сделать никто, 1-2 задания, которые должны выполнить все.

По целям использования:

- тесты, проводимые в начале обучения;

- тесты на выявление прогресса в обучении;

- тесты на выявление трудностей в процессе обучения;

- тесты достижений в конце обучения.

Оценка тестовых заданий может быть политомическая и дихотомическая (за задание предусматривается 1 балл). Для подсчёта общего числа набранных баллов при дихотомичности и одноуровневости баллы просто суммируются, а при политомичности и многоуровневости баллы за каждое задание умножаются на свой весовой коэффициент и затем суммируются.

Длина теста - это число тестовых заданий. В классической теории тестов применяется следующее утверждение: при прочих равных условиях надёжность теста зависит от числа заданий (чем длиннее тест, тем он надёжнее). Но практика показывает, что если тест очень длинный, то ухудшается мотивация и внимание испытуемых. Оптимальная длина теста, как показывает практика, - 30-60 заданий. Соотношение длины теста к банку заданий = 1:10.

Оптимальное время тестирования: до наступления утомления. Оно колеблется от 20 до 100 мин. в одной возрастной группе и от 10 сек. до 5 мин. на выполнение одного тестового задания. Среднее ориентировочное время: мин. -12-15 минут, среднее - 40 минут, максимальное - 60-70 минут.

Соотношение форм заданий в тесте. Выбор формы тестового задания зависит от содержания курса, цели создания теста, умения разработчика. Усреднённый расклад может быть таким: в тесте длиной 60 заданий рекомендовано не более 10 тестовых заданий открытой формы, примерно по 10 тестовых заданий на соотношение и последовательность, остальные 30 заданий целесообразно давать в закрытой форме (15 - с выбором одного и 15 - с выбором нескольких из множества).

Спецификация теста включает следующие пункты:

1. Цель теста

Целью проведения теста, предназначенно­го для распределения тестируемых по группам или теста способностей к иност­ранному языку (a placement test or an aptitude test) является определение уровня развития уме­ний и навыков аудирования, чтения, говорения и письма тестируемых. Тесты проводятся до на­чала обучения иностранному языку с целью вы­явления у учащихся лингвистических способно­стей и прогноза их деятельности по овладению иностранным языком. Данный вид тестов пред­назначен для распределения тестируемых, аби­туриентов на основании результатов его прове­дения по группам одного уровня, для продолже­ния учебы в этих группах.

Цель проведения диагностического теста (a diagnostic test, a formative test or a summative test) заключается в определении уровня усвое­ния тестируемым пройденного материала и со­ставления на основе результатов теста про­граммы по дальнейшему изучению и совершен­ствованию языка. Тест предназначен для про­верки того, насколько хорошо достигнуты крат­косрочные цели обучения. В основе теста — ответ на вопрос: насколько хорошо тестируе­мый освоил тот или иной материал за опреде­ленный период обучения и каковы те разделы, которые недостаточно усвоены тестируемым, где ему необходима помощь? Тест может про­водиться, например, в конце прохождения како­го-то раздела, темы или занятия по определен­ной теме.

Целью проведения теста учебных дости­жений (an achievement test, an attainment test or a progress test) является оценка умений и навы­ков аудирования, чтения/письма и говорения за более длительный период (год, целый курс обу­чения) по сравнению с диагностическим тестом. Тест достижений охватывает более широкий объем материала и направлен на проверку дос­тижения поставленных долгосрочных целей. Те­сты данного вида выявляют ошибки и недо­статки обучения, составляются точно по про­грамме, учебнику или пройденному языковому материалу и используются для осуществления текущего контроля (измеряют прирост знаний, умений и навыков по иностранному языку за оп­ределенный отрезок времени — месяц, чет­верть, семестр), промежуточного контроля и итогового контроля (измеряют учебный матери­ал, который должен быть усвоен за весь курс обучения).

Целью проведения теста контроля умений (a proficiency test or a specific purpose test) является как оценка общих знаний по иност­ранному языку, того, что уже было изучено, на­сколько хорошо тестируемый может использо­вать на практике полученные знания по языку, так и проверка того, сможет ли тестируемый справиться со специальным курсом обучения языку (например, курсом обучения профессио­нально-ориентированному иноязычному общению студентов неязыковых специальностей). Тест предполагает ответ на вопрос: выучив такой объем информации, что тестируемый может с ним делать? Этот вид теста необязательно при­вязан к какому-то пройденному курсу, но он связан с определением уровня сформированнос­ти умений и навыков аудирования, говорения, чтения и письма, с текущим уровнем обученности языку тестируемого, дающим ему возмож­ность использовать язык в перспективе.

2.Характеристика тестируемых: их воз­раст, пол, уровень знаний в области иностранно­го языка, уровень культурного развития, причи­ны, побудившие их пройти тестирование, личные и профессиональные интересы и т.д.

3. Количество разделов/частей, включенных в тест, объём теста. Например, тест состоит из трех разделов/частей, время выполнения каждо­го раздела — 45 минут.

4.Типы текстов, включенных в тест, — письменные или устные, каковы темы текстов, степень их аутентичности и трудности.

5. Объекты тестирования, т.е. те умения, ко­торые тестирует тест.

Тест, предназначенный для распределения те­стируемых по группам (a placement test or an aptitude test), проверяет умения и навыки чте­ния, восприятия на слух и понимания инструк­ций, текстов; умение написания сочинения, дик­танта или рассказа на заданную тему; умение вести ролевую игру; умение интерпретации визуальных образов (картин, диаграмм); умение беседы по предложенной теме; умение суммировать информацию и решать

поставленные задачи.

Диагностический тест (a diagnostic test, a formative test or a summative test). Этот тест проверяет умение аудирования теста на изучаемом языке; умение расстановки картинок в определенном порядке в соответствии с ауди­руемым текстом, состоящего из определенного количества слов, с пропусками каждого

N-го слова и таблицей ключевых слов для подстанов­ки; умение чтения текста на изучаемом языке, умение завершения начатого путем выбора пра­вильного ответа; умение интерпретации визуально предъявляемых картинок и диаграмм.

Тест учебных достижений предназначен для проверки умений аудирования

текста на иностранном языке; умений интерпретации рисунков; умений выполнять здания в виде диаграмм и производить аргументированный выбор правильного ответа; умений чтения вслух неподготовленного текста; умений применять элементы трансформации при написании письма на иностранном языке; умений вести бе­седу на иностранном языке на предложенную тему.

Тест контроля умений предназначен для проверки умений соотносить услышанное с предлагаемыми картинками, диа­граммами; умений выражать мнение по прочи­танному или услышанному; умений получать до­полнительную информацию по данному вопросу и излагать ее в письменной форме; умений

ре­шать проблему сообща группой тестируемых на основании информации, данной каждому тестируемому в отдельности.

6. Количество пунктов, включенных в каж­дую часть теста.

7. Методы тестирования, используемые в тесте: задания на множественный выбор, на за­полнение пропусков, трансформацию, от­веты на вопросы, описание рисунков, ролевая игра, написание эссе.

A placement test может представлять со­бой звучащий текст некоторого объема для проверки умений и навыков аудирования последующими заданиями на выбор правильного/ неправильного варианта ответа; текст по провер­ке умений и навыков чтения с последующими детализированными пунктами на выбор правиль­ного/неправильного ответа; сочинение на предло­женную тему; выполнение теста на заполнение пропусков (a cloze test), с пропуском каждого л-го слова; диктант; беседу по теме, предпола­гающую использование предложенных слов или словосочетаний.

An achievement test может представлять собой текст определенного объема на проверку умений и навыков аудирования, с последующи­ми заданиями на множественный выбор, на вы­бор правильного ответа из нескольких предло­женных вариантов; тест представлен текстом, состоящим из определенного количества слов и 20 пунктов заданий, составления диаграммы, текст с последующим выполнением заданий в устной или письменной форме в виде диаграм­мы; текст на проверку умений и навыков чте­ния, состоящий из некоторого количества слов и вариантов заданий на множественный выбор; написание письма с учетом предложенных вы­сказываний; задание на трансформацию содержа­ния текста; текст на проверку умений и навы­ков чтения и письма; подготовленную беседу тестируемого на предложенную тему.

A diagnostic test может представлять со­бой текст, состоящий из 400 слов на проверку умений и навыков аудирования и 15 пунктов на выбор правильного/неправильного ответа; рас­сказ, состоящий из 250 слов с пропущенными в произвольном порядке словами для письменно­го заполнения пропусков на основе прилагаемо­го листа слов, на проверку умений и навыков чтения; рассказ для тестирования усвоения изу­ченной лексики, состоящий из 200 слов, с про­пусками слов, где каждое пропущенное слово предполагает 4 варианта ответа, из которых те­стируемому необходимо выбрать только один правильный.

8. Используемые материалы и инструкции для тестируемых и преподавателей.

Информация для тестируемых о способе вы­полнения теста включает инструкции по выпол­нению теста, примеры и организацию процеду­ры тестирования. Материалами, необходимыми тестируемым для проведения тестирования, являются чистые листы бумаги для написания тестов

или бланки для последующей машинной обработки результатов теста.

Материалами, необходимыми преподавателям в процессе проведения тестов, являются аудиоаппаратура, оборудование для демонстрации картинок и диаграмм, пособие с ключами и способами оценивания ответов тестируемых.

9. Используемые критерии/схемы оценки.

Измерение выделенных умений и навыков чтения и аудирования испытуемых может производиться с помощью первичных оценок, полученных испытуемым на начальном этапе обработки результатов тестовой методики, включающих сведения о количестве правильно решенных задач, числе попыток при их решении, о времени выполнения заданий, путем выведения итогового балла на основе суммирования результатов по всем аспектам тестирования или с помощью шкалированных оценок, представляющих собой более расширенный и подробно дифференцированный диапазон оценок, подвергнутый обработке первичный индивидуальный балл испытуемого после его преобразования в специальную шкалу для данного теста.

4. Методические рекомендации по составлению тестов

Чтобы тест достигнутых результатов оказался эффективным, т.е. чтобы по данным его выполнения можно было судить об успеваемости учащихся, преподавателю необходимо обратить внимание на следующие моменты;

1. Составитель теста обязан иметь чёткое представление о том, какой
материал необходимо тестировать. От удачно или неудачно решённой
проблемы «что тестировать» зависит такое необходимое качество теста, как
relevance (уместность), которая подразумевает соблюдение связи между тем,
что тест предлагает студенту выполнить и тем, что студенту преподавалось во
время обучения. Ещё Р.Ладо давал совет преподавателям: «То, что студент
изучал, составляет содержание того, что мы должны тестировать».

2. Составителю теста необходимо учитывать то, что теория
тестирования языка исходит из положения: оценка владения отдельными
языковыми аспектами служат в определённой степени оценкой владения
навыками. Необходимо тестировать отдельные элементы языка раздельно в
зависимости то целей и условий тестирования.

3. Тест следует составлять таким образом, чтобы за короткое время можно было протестировать то, что изучалось в течение недели, месяца, года или даже за несколько лет.

4. Тест должен включать в основном и по возможности такие материалы, которые бы отражали расхождения между родным языком и иностранным. Р.Ладо считает, что тестировать необходимо только языковые трудности, т.к. «знание трудностей - есть знание языка».

5. При составлении теста нужно учитывать основные статистические параметры, которые сводятся к следующим: коэффициент пригодности -validity, коэффициент надёжности - reliability, коэффициент сложности вопроса - facility value и дискриминантный коэффициент - discrimination index.

6. Составитель теста должен помнить о тех требованиях программы и методики, в соответствии с которыми построен учебник по которому занимаются студенты.

7. Экономичность теста. Это - требование практичности теста. Если тест измеряет то, что мы хотим измерить в возможно более короткое время, то он является экономичным и практичным.

8. Возможность проведения теста. Надо исходить из наличия достаточного количества экземпляров тестов, магнитофонов, ответных листов и т.д.

9. Лёгкость подсчёта результатов.

Приступая к составлению теста:

1. Определите цели и функции составляемого теста, т.е. предназначен ли он для текущего, периодического или итогового контроля.

2. Проанализируйте объекты тестирования и определите навыки и умения,
которые подлежат контролю.

3. Проанализируйте учебный материал и определите характер теста
(языковой, речевой, комбинированный и др.).

4. Отберите языковой и речевой материал, который будет использован в тестовых заданиях.

5. Проанализируйте ошибки учащихся в употреблении данного материала и отберите наиболее типичные случаи для использования в качестве альтернатив.

6. Определите вид и объём теста. Имейте в виду, что объём теста зависит от класса, этапа и самого материала. Итоговый тест в средней школе может выполняться 10-30 минут. Предусматривается равное количество заданий (например, 20, 50,100 и т.д.) для удобства подсчёта баллов.

7. Составьте тестовые задания. Помните, что каждое тестовое задание
содержит информационную часть, представляющую собой предложение,
микротекст и т.д., которую учащиеся должны проработать, и операционную
часть, включающую вопрос или задание.

При этом необходимо учитывать следующие основные требования, предъявляемые к тестовым заданиям:

а) соответствие формы и характера заданий теста целям и объектам
тестирования, а также пройденному языковому материалу для обеспечения
максимально возможной валидности теста;

б) доступность по форме и содержанию, а также посильность заданий для
данного контингента тестируемых;

в) соблюдение принципа одной трудности;

г) учёт оптимальной средней длины предложений (7 +/- 2 слова без
пропуска) в основе тестового задания.

8. Составьте альтернативы. При их отборе необходимо, чтобы все отвлекающие и правильный ответ содержали одну и ту же часть речи. Воспользуйтесь следующей типологией альтернатив по порядку их эффективности: 1) контекстуальная отвлекающая, 2) антоним правильного ответа, 3) неправильный синоним (в данном контексте), 4) аффиксальная отвлекающая (к правильному ответу прибавлен или отнят от него префикс или суффикс), 5) фонетико-графическая отвлекающая, интерферирующая с родным языком, 6) графическая отвлекающая (одна-две буквы прибавлены к правильному ответу или отняты от него), 7) синтактико-семантическая отвлекающая, 8) случайное слово.

9. Проследите за тем, чтобы тестовые задания были расположены таким образом, чтобы первые 20% заданий являлись самыми лёгкими, последующие 70% - средней трудности и заключительные 10% - усложнёнными.

10. Ещё раз просмотрите составленный вами тест и при необходимости
внесите коррективы.