Тестирующие системы

Тестирующая система — программный продукт или подсистема АОС, предназначенная для контроля степени усвоения обучаемым учебного материала.

Идеальная тестирующая система должна быть в высокой степени интеллектуальной, чтобы в режиме диалога распознавать ответы студента и в зависимости от содержания ответа определять степень их правильности, выбирать дальнейшие задаваемые вопросы, касающиеся любых аспектов изучаемого курса, формулировать рекомендации по исправлению выявленных пробелов в знаниях тестируемого. Построение таких интеллектуальных систем в настоящее время не представляется возможным, так как для этого нужно, чтобы система обладала возможностями обработки информации и объемом памяти, по крайней мере, соизмеримыми с характеристиками человеческого мозга. Поэтому находят применение тестирующие системы с формальными способами общения с тестируемым.

Существует ряд способов общения, при которых система формулирует такие вопросы, на которые могут быть получены ответы в одной из следующих форм.

1) ответы "да" или "нет".

2) выбор варианта из списка (меню) ответов, при котором к каждому вопросу прилагается список возможных ответов, среди которых имеются как правильные, так и неправильные. Тестируемый должен указать один или несколько правильных вариантов ответа. В этом способе возможно по характеру ошибок студента определить непонятые или неизученные им разделы курса и предусмотреть в качестве реакции системы выдачу определенных разъяснений и рекомендаций. Система также выставляет оценку обучаемому, в данном случае она может быть подсчитана по формуле

y = 5r/(N+f),

где r — число выбранных тестируемым правильных ответов, N — число правильных ответов в списке, f — число выбранных тестируемым неправильных элементов из списка ответов.

3) числовое значение, при этом в случае приближенного решения задачи правильным ответом будет значение Х, удовлетворяющее условию

А-d X А+d

где А и d — номинальное значение и предельно допустимая погрешность результата решения тестовой задачи соответственно.

4) ответ в виде формулы (математической или химической). Трудности связаны с отсутствием в стандартной клавиатуре персонального компьютера части знаков общепринятой математической нотации, а также с неоднозначностью записи формул в большинстве случаев. Иногда в качестве эталона используют список всех возможных вариантов записи формулы, но лучше использовать алгоритм унификации [51].

5) ответ в виде соответствия aRb двух заданных множеств А и В, a A, b B, например А — множество названий государств, В — множество названий столиц.

6) ответ в виде упорядоченного списка элементов заданного множества.

7) ответ на ограниченном проблемно-ориентированном подмножестве естественного языка. Очевидные трудности использования этого варианта связаны с разработкой подобного подмножества. Кроме того, либо вопросы должны быть такими, чтобы правильные ответы были однозначными, либо система должна правильно интерпретировать любые грамматически правильные в этом подмножестве фразы.

8) ответ в виде текста, но критерием правильности является наличие в ответе определенных ключевых слов, указываемых в эталоне ответа (возможно, что в дополнительном списке указываются слова, которых в ответе не должно быть). Для большей надежности автоматически выставляемой оценки можно тестируемому представить список всех слов, которые допускается использовать в ответах на группу тестов. Этот способ значительно проще реализуется, чем предыдущий.

9) графическое изображение, которым может быть рисунок, состоящий из заданного набора графических примитивов, или график функции. Тестирующая система должна определить правильность ответа по определенным признакам изображения, например, по наличию одного или нескольких экстремумов на графике функции или по взаимному расположению примитивов на рисунке.

Существуют два основных направления применения тестирующих систем: а) самотестирование, используемое самим студентом в процессе освоения учебного материала; б) контрольные мероприятия, организуемые администрацией учебного заведения и проводимые с целью аттестации знаний студентов. Первое направление подразумевает не столько выставление оценки студенту, сколько определение имеющихся в его знаниях пробелов и выдачу соответствующих рекомендаций по их ликвидации. Во втором направлении главная функция тестирующей системы — оценка знаний, а дополнительными функциями являются ограничение длительности контрольных мероприятий и надежная on-line идентификация студентов перед началом контрольного мероприятия. В обоих направлениях полезно используется база контрольных вопросов и заданий, содержание которой должно периодически изменяться.