ИКТ в системах оценивания

Технологии автоматизированной оценки могут помочь в разработке, обеспечении и улучшении условий обучения. Общая модель оценки с ИКТ подразумевает проведение крупномасштабных рандомизированных контролируемых исследований, в которых большая выборка учащихся случайным образом направляется на исследование эффективности образовательной технологии. Этот тип итоговой оценки может быть полезным для определения целесообразности затрат миллионов на принятие существующей технологии, однако он не является эффективным способом помощи в разработке новых инновационных технологий, способных формировать будущее образования. ИКТ имеют уникальную возможность доступа ко многим учащимся (например, Coursera имеет более чем 1,5 миллиона пользователей). Кроме того, они могут быть спроектированы для сбора данных и выборочно предоставлять различные сведения для разных студентов и разных образовательных процессов. Оценка оказывает мощное влияние на образование, служа не только функцией оценки, но также формируя мотивацию, важную для студента. Расширение сферы применения оценок от оценивания только конечного состояния знаний до оценивания самих процессов обучения имеет потенциал для преобразования учебных программ.

Как ИКТ могут изменить наше мнение об оценке по двум специфическим аспектам? Первый – какова их возможность более эффективного использования оценки инструментом улучшения качества обучения. Второй – как ИКТ могут увеличить диапазон результатов обучения, подлежащих оценке, и на что будет похожа эта оценка.

Оценка – это большое мероприятие, вовлекающее множество возможных заинтересованных лиц. Например, Программа по Международной Оценке Студентов (PISA) – это оценка, предложенная для студентов в около 70 странах для обеспечения единой метрики характеристик студентов. Она дает результаты на национальном уровне. Напротив, преподаватели используют неформальные (формативные) оценки каждый день в своих классах для измерения индивидуального прогресса студентов. Обе эти системы оценки, так же как и другие, представляют ценность для разных целей и заинтересованных лиц.

Рассмотрим примеры систем оценивания.

Относительно ИКТ нижняя запись в таблице – использование оценки для итеративных улучшений – является недоиспользованным видом. Мы выделяем эту новую возможность как главный способ трансформировать методы оценки с ИКТ.

ИКТ в оценке результатов обучения

Одна из целей оценивания (формативная) – оценить индивидуальные достижения учащихся. Обычно эти методы оценки с ИКТ отличаются увеличением точности. Создатели онлайн тестов озадачены вопросами надежности (непротиворечивости) и достоверности онлайн оценок, а также тем, как избежать обмана. Это важные вопросы. Например, поскольку онлайн программы все чаще выполняют сертифицирующие функции, важно, чтобы образовательные учреждения могли им доверять. Вторая причина необходимости увеличения точности измерения индивидуального учащегося – ее влияние на настройку учебных программ – адаптивных систем обучения. Адаптивные системы обучения осуществляют непрерывные оценки состояния знаний учащегося и могут непрерывно приспосабливать тестовые задания и инструкции среды. Наставники обучения (http://pact.cs.cmu.edu), например, имеют непрерывный доступ к студентам, обновляя модель их навыков и знаний. Эта модель учащегося сравнивается с моделью эксперта, так система может определить различия и обновлять систему оценивания. Основная особенность формативной оценки – обеспечить обратную связь во время процесса обучения для информирования ученика и учителя. Например, формативная оценка могла бы помочь учителю понять, с какой частью конкретной темы обучения во время урока ученики испытывают затруднения, что поможет учителю сформировать задания по теме соответствующим образом. В адаптивной среде образования формативная оценка позволяет среде измерять текущие знания студента, чтобы определить, какие задания представлять далее.

Другая цель оценки (суммативная) – оценить опыт обучения. Вместо вывода о том, как хорошо идут дела студента, искомым выводом является, как хорошо обстоят дела с учебным процессом. Если целью оценки является улучшение учебного процесса, то измерения должны получать практическую информацию не на уровне ученика, а на уровне всей образовательной среды.

Характеристика суммативной оценки – формирование информации о конечном продукте обучения: освоили ли все учащиеся учебный стандарт. Стандартизированные тесты, которые отражают результаты учеников в заданном школьном округе, являются примером таких суммативных оценок. Эти оценочные тесты не предполагают, что информация из них будет полезна для отдельного студента.

Сдвиг фокуса оценки от индивидов к среде обучения имеет смысл для стратегических исследований по изменениям в системе образования. Масштабные рандомизированные контролируемые исследования, в которых студенты распределяются случайным образом для оценки эффективности образовательной технологии, в основном являются суммативными оценками. Результат такой оценки – определить изменения в среде образования по сравнению старых и новых требований к стандартам обучения. Как таковые, суммативные оценки не могут служить формативной функцией, скорее они созданы, чтобы решать, когда и как имеет смысл адаптировать ту или иную образовательную технологию или учебную программу.

Возможности ИКТ позволяют охватить всеми видами оценивания большое количество учащихся, быстро собрать данные и предоставить разные варианты интерпретации одного и того же материала, что делает ИКТ мощным инструментом исследования на основе систем оценивания. Рассмотрим примеры.

Тестирование A/B. Например, Amazon.com смог протестировать с использованием миллионов пользователей страницу для определенного продукта. Для половины посетителей страница содержала красную кнопку, а для другой половины имелась зеленая кнопка. Если продукт больше покупали те, кто вышел на страницу с зеленой кнопкой, Amazon узнавал, что конфигурация с зеленой кнопкой более эффективна. Эти идеи могут быть применены и в образовании.

Рефракция (http://games.cs.washington.edu/Refraction). Это основанный на компьютерных играх подход к созданию оптимальной последовательности задач для изучения проблемной ситуации в учебной ИКТ среде. Используя тестирование A/B, система рефракции может определять оптимальное упорядочивание учебной программы. Например, выполняя набор задач о проблеме А, половина студентов может быть направлена на решение набора задач 1, в то время, как вторая половина работает над набором задач 2. В результате обе группы придут к решению проблемы В. Теперь можно сравнить, какая последовательность приводит к лучшим результатам по проблеме В: А1 или А2. Если результаты лучше после А1, данная последовательность может быть выбрана как основная в системе оценивания. Так лаборатория Learn Lab в Питтсбургском научно-образовательном центре (http://learnlab.org/) использовала тестирование А/В для изменения и улучшения онлайн урока химии в течение курса из нескольких семестров (смотрите, например, http://evidenceframework.org/rapid-controlled-experimentation-to-facilitatelearning-difficult-conceptual-content).

Краудсорсинг. Другая особенность использования оценивания с ИКТ – интерактивный характер взаимодействия в реальном времени, например, в учебной платформе. Она используется в таких типах оценивания, которые требуют очень большой выборки студентов для тестирования множества возможных комбинаций. Технология Интернет помогает решить эту проблему. Краудсорсинг среди тысяч интернет-пользователей быстро стал стандартным инструментом в проведении оценочных исследований. Существуют даже коммерческие платформы, такие как Amazon’s Mechanical Turk (https:// www.mturk.com), которые помогают исследователям связаться с пользователями, согласными участвовать в тестировании А/В.

Встроенные оценки в цифровую учебную среду. Технология компьютерных обучающих игр пригодна для формирования внутренних оценок, которые собирают данные поведения пользователя в процессе учебной работы в ИКТ среде, как части игры. Этот тип оценки может снизить волнение в связи с проведением тестирования, потому что оценка полностью интегрирована в процесс обучения, нет разрыва между обучением и тестированием. Примерами могут служить мультимедиа обучающие ресурсы или ИКТ среда обучения в учебной платформе, когда в рамках учебной среды каждый шаг ученика фиксируется во встроенной системе оценивания, которая может по итогам выполнения учебной ситуации и выдавать рекомендации. Необходимо отметить, что встроенные оценки не должны быть оценками скрытыми, они также могут предоставлять ученику обратную связь на экране. Информация является высоко мотивирующей и указывает студентам, на чем они должны сконцентрировать свое внимание и учебные усилия таким образом, чтобы лучше выполнять задания или выйти на новые уровни заданий.

Опережающее оценивание исследовательских навыков. В то время как кодифицированное знание остается существенным, не менее важна для успеха работы в XXI веке способность адаптироваться и учиться. Брэнсфорд и Шварц (1999 г.) ввели концепцию опережающих оценок результатов обучения. В этом виде оценки в меньшей степени определяют конкретные знания студента (например, формула кинетической энергии), а измеряется, насколько студенты подготовлены к обучению на основе этих знаний далее. Например, в рамках вопроса о кинетической энергии предлагается решить новый тип задачи, с которым они еще не сталкивались, но который мог быть решен с помощью этого примера. Эти типы средств оценки более сходны с теми, которые студенты будут испытывать вне школы (т.е. в дальнейшем обучении, работе) и могут показать потенциал ученика в отличие от традиционных измерений кодифицированного знания.

В США Национальная Оценка Образовательного Прогресса (NAEP) представляет собой масштабную всенародную оценку результатов учащихся. NAEP проводит оценки, которыми отслеживается использование студентами ресурсов, таких как таблицы и графики, во время научных исследовательских заданий с использованием ИКТ (например, что является причиной роста фитопланктона). Измерение данных процесса обучения может представить мощный показатель исследовательских навыков и критического мышления студента. Автоматический сбор данных об учебном выборе и результатах учебной ИКТ средой делает возможным исследовать, какие модели обучения в учебной ИКТ среде продуктивны (ведут к лучшим результатам обучения). Эта информация впоследствии может быть использована для выбора дизайна ресурсов обучения и учебных платформ.

Анализ результатов оценивания. Важной задачей в сборе оценочных данных с использованием ИКТ является определение способа их анализа. Глубинный анализ данных – это подход, который использует компьютеры в качестве инструментов определения принципов оценивания в больших объемах данных. Глубинный анализ данных используется в бизнесе, например, для нахождения моделей в выборе покупателей. Применительно к образованию примером может быть использование данных о «кликах» студента в компьютерной среде обучения, позволяющих оценить, что должен предпринимать наставник в заданных ситуациях для оптимизации достижений обучения студента. Все это требует глубинной проработки алгоритмов взаимодействия ученика со средой обучения. Так как техники глубинного анализа данных успешно используются в бизнесе и образовании, они, скорее всего, будут становиться все более доступными для масштабного применения в ИКТ оценках.

Примером попытки снизить стоимость и повысить доступность оценок является аутсорсинг рукописных работ и краудсорсинг ответов. Например, система онлайн курса Coursera (https://www.coursera.org) (что также применимо к курсам учебной платформы с сетевым взаимодействием учащихся, обучению в социальных медиа и образовательных сетях) может зарегистрировать более 10 000 студентов в сетевой класс. Они начали использовать краудсорсинг, чтобы сделать возможной аттестацию письменных работ. Студенты класса обучаются использовать рубрику аттестации и назначаются для аттестации работы друг друга. Одну работу будут оценивать несколько студентов. Исследование краудсорсинга показало, что взятие среднего из множества значений оценивания приведет к точной оценке, даже если точность какого-либо индивидуального значения не надежна.

Другой подход – служба образовательного тестирования (СОТ) – автоматизирует аттестацию письменных и свободных ответов, используя компьютерные системы обработки данных на естественном языке (http://www.ets.org/research/topics/as_nlp). Обработка естественного языка относится к использованию компьютерных алгоритмов для распознавания и взаимодействия с человеческим языком. Это применяется к письменным ответам.

Важно не нанести вред студентам, используя неэффективные учебные условия, и не подвергать риску их обучение.

С увеличением возможности равномерно измерять обучение со встроенными оценками появляется новая этическая озабоченность по поводу справедливости результатов оценивания. Студенты могут не знать, что их оценивают, или какой аспект их работы оценивается, и поэтому они могут не показать максимальных результатов (что они могут сделать при оптимальных условиях, зная, что их работа оценивается). Это важный момент, когда цель оценки – отбор студентов в какую-то университетскую программу или программу обогащения. Студенты могут не приложить максимальных усилий, поскольку не знают о проведении важной оценки. В результате оценка может не предоставить характеристики лучшего потенциала и достижений студента. Однако, если цель оценки – в большей степени информировать, чем классифицировать студентов, тогда вопросы справедливости менее важны. Тем не менее, если инструкции оценивания учитывают типичное поведение студентов в учебной ситуации, то и оценки с учетом типичного поведения будут наиболее информативными.

Дорожная карта использования ИКТ в системах оценивания

ИКТ могут повысить эффективность существующих моделей оценки, но также могут изменить то, как оценка используется и концептуализируется.

· Оценка должна давать полезную информацию на соответствующем уровне. Оценки имеют много различных применений, от национальной иерархии до характеристики студента и оценки опыта обучения. Различные варианты использования требуют различных видов оценки. Например, оценки, призванные классифицировать школы, обычно не предоставляют информацию, которая полезна на уровне учебных решений для одного студента. Часто упускается из виду использование оценки для выбора решений по проектированию изменений условий обучения. В этом случае оценка должна быть достаточно детальной, чтобы исключить факторы среды обучения, ухудшающие его условия.

· Формативная оценка может быть важным инструментом для принятия решений в процессе обучения. Формативная оценка считается оценкой «для обучения», где основная цель – информировать обо всех текущих состояниях обучения. Она идет в противовес суммативной оценке, которая измеряет конечный результат обучения обобщенно. Формативная оценка может использоваться на индивидуальном уровне для принятия решения, какую информацию или проблему представить студентом, учитывая их текущий уровень понимания конкретной темы. Она также может использоваться на уровне развития ИКТ для определения, какой выбор дизайна является наиболее эффективным и для обучения в цикле тестирования, и для улучшения качества взаимодействия с учебной платформой.

· Оценки могут быть встроены в ИКТ-среду обучения. Они не должны занимать отдельное от обучения время. Встроенные оценки могут быть интегрированы в процесс обучения таким образом, чтобы студенты не знали, что они оцениваются, уменьшая этим волнение перед тестом. Или они могут быть явными, таким образом, чтобы студенты осознавали, что они оцениваются, и им самим можно было бы увидеть свой личный прогресс.

· Один из способов, который позволяет усилить эффективность использования оценки с ИКТ для непрерывного уточнения результата – использование Интернета, A/B тестирования, краудсорсинга для получения обратной связи и улучшения дизайна среды обучения. Варьирование возможностей ИКТ контролируемым образом позволяет оценивать, какой из видов дизайна и вариантов учебных программ приведет к лучшему обучению.

· Помимо сбора традиционных оценок знаний студентов, ИКТ может измерять данные о том, как студенты справляются с обучением и решением проблем в ИКТ среде обучения. Это позволяет оценивать исследовательские навыки студентов и их подготовку для продолжения обучения в реальной жизни за пределами образовательного учреждения или среды обучения, что соответствует требованию XXI века продолжать обучение на работе. Данные учебного процесса, который формирует студента в учебной ИКТ среде, могут также сообщить нам, какие шаблоны взаимодействий приводят к лучшим результатам обучения в рамках ИКТ среды, что может помочь разработчикам ИКТ среды, учебных платформ создать более качественные инструменты и алгоритмы обучения для учебной ИКТ среды. Инвестиции в новые методы интеллектуального анализа данных позволят оценивать результаты важного процесса измерения прогресса студента в продвижении по индивидуальной траектории в учебной ИКТ среде.