Методика проведения сравнительного педагогического

Эксперимента

В качестве основы методики рассматри­вается сравнительный педагогический эксперимент, в котором проверке подлежат выдвинутые рабочие гипотезы, например, возможность повы­шения качества и прочности усвоения учебного материа­ла, усиления мотивации и активности обучающихся при использовании в образовательном процессе новых информационных технологий обучения.

Для обеспечения возможности сравнения результатов педагогического экспери­мента целесообразно разделить обучающихся на экспериментальные и контрольные группы, а также выявить начальный и итоговый уровень их обученности для получения точной картины состояния знаний, навыков и умений до и после эксперимента. С учетом сказанного предлагается следующая схема проведения сравнительного педагогического эксперимента (см. рис. 1).

Первый этап включает в себя выбор и выравнивание контрольных и экспериментальных групп на основе проведения входного тестиро­вания, а также определение варьируе­мых и не варьируемых условий эксперимента.

Тестирование произво­дится с использованием педагогических тестов - системы заданий возрастающей трудности, с целью определения начального уровня обученности студентов. По результатам тестирования производится выбор экспериментальных и контрольных групп. Проверку их однородности и тем самым правильность выборки целесообразно осуществлять с исполь­зованием t - крите­рия Стьюдента (равенство средних), критерия (хи-квадрат) или f - критерия Фишера (однородность дисперсии), позволяющих учитывать психофизиологические свойства обучающихся и уровень их подготовленности.

На примере использования t - критерия Стьюдента для независимых переменных покажем как может быть произведена оценка однородности контрольных и экспериментальных групп.

В данном случае предполагается выдвижение двух гипотез: нулевой гипотезы (Н₀), согласно которой различия уровня подготовленности обуча­ющихся недостаточно значительны и поэтому распределение оценок от­носится к одной генеральной совокупности, т.е. выборка произведе­на правильно, и альтернативной гипотезы (H₁), согласно которой различия между обоими распределениями достаточно значительны и связаны с малым объемом выборки.

В психологии и педагогике принято считать, что нулевую гипотезу можно отвергнуть в пользу альтернативной, если по результатам статистического анализа вероятность случайного возникновения найденного различия не превышает 5 из 100. Если же это уровень достоверности не достигается, считается, что разница вполне может быть случайной и поэтому нельзя отбросить нулевую гипотезу.

Таким образом, требуется доказать, что распределение оценок при входном тестирование в контрольной и экспериментальной группах являются выборками из одной генеральной совокупности, то есть, что нулевая гипотеза верна.

Для определения достоверности разницы средних при двух независимых выборках целесообразно использовать метод Стьюдента (Годфруа Ж. Что такое психология. Т 2. - М., 1992.) и по формуле 1 определить значение его t – критерия.

t = (1)

где М1 и М2 - среднее значение первой и второй выборок; S1 и S2 - дисперсия (среднее квадратическое отклонение) соответственно для первой и второй выборок; n1 и n2 - количество оценок в первой и второй выборках.

Дисперсия определяется по формуле

= (2)

где - квадрат отклонений отдельных значений признаков от средней арифметической; n - количество признаков.

Геометрически является показателем того, насколько кривая распределение оценок размыта относительно ее среднего арифметического значения.

Определив дисперсию, целесообразно рассчитать значение t - критерия Стьюдента и сравнить его с табличным, приведенным в соответствующих справочных материалах (Годфруа Ж. Что такое психология. Т 2. - М., 1992. или Рабочая книга социолога. 2-е изд. - М., 1983).

Если табличное значение t больше чем расчетное (t_табл > t), делается вывод о том, что нулевая гипотеза не отвергается и обе выборки относятся к одной генеральной совокупности, то есть, они однородны для уровня достоверности 0,05 (вероятность 5%), что и требовалось доказать. Если же расчетное значение t оказывается больше чем табличное (t_табл < t), то следует говорить о том, что сделанные выборки (для уровня достоверности 0,05) не относятся к одной генеральной совокупности. А это значит, что выбранные контрольная и экспериментальная группы не являются однородными.

Полученные результаты целесообразно перепроверить с использованием критерия или f - критерия Фишера.

Рассмотрим для примера порядок проверки полученных результатов с использованием критерия . В этом случае применяется формула 3 (Рабочая книга социолога. 2-е изд. - М., 1983).

= (3)

где n₁ и n₂ - количество оценок у слушателей в контрольной и экспериментальной группе; n_i1 и n_i2 - среднеарифметическое значение успеваемости в контрольной и экспериментальной группах.

Получив расчетное значение , необходимо, как и в предыдущем случае сравнить его с табличным значением (при уровне значимости менее 5%), взятым из справочных источников. Если _табл. > , то это означает, что нулевая гипотеза не отклоняется и следует считать контрольную и экспериментальную группы выборками из одной генеральной совокупности.

Таким образом, с помощью t - критерия Стьюдента или критерия можно сделать вывод об однородности или неоднородности контрольной и экспериментальной групп.

На данном этапе следует определить, а при необходимости уточнить, варьируемые (подлежащие изменению) и не варьируемые условия проведения эксперимента.

В качестве варьируемых условий эксперимента могут рассматриваться следующие:

- занятия под руководством преподавателя проводятся с конт­рольной группой в аудитории, а с экспериментальной группой в дисплейном классе;

- в экспериментальной группе средством самостоятельного изу­чения учебного материала выступает комплект компьютерных средств, а в контрольной группе - традиционный учебник (учебное пособие или другое тради­ционное средство обучения);

- в экспериментальной группе студенты имеют возможность про­вести текущий контроль своих знаний, используя специальную компьютерную программу, а в контрольной такая возможность не предусмотрена и т.д.

В качестве не варьируемых условий проведения эксперимента можно рассматривать, например:

-изучение одинаковой для контрольной и экспериментальной групп дозы учебной информации;

-постановка одинаковых для обеих групп дидактических задач и др.

Второй этап является наиболее ответственным и включает собс­твенно проведение педагогического эксперимента. В ходе него могут проводится: чтение лекции по запланированной теме в контрольной и экспериментальной группах, проведение учебных занятий с использованием методов семинара, практической работы, са­мостоятельной работы под руководством преподавателя и без его участия, лабораторной работы и т. п.. Но, если в экспе­риментальной группе обучение проводится с использованием, например, информационной технологии обучения, то в контрольной это делается с применением только традиционных методик обучения.

Третий этап включает выходное тестирование и может проводится на итоговых занятиях с целью определения достигнутого уровня обу­ченности студентов, который должен соответствовать изначально заданным дидактическим целям. Методом определения в этом случае выступает, как и на первом этапе, - педагогическое тестирование.

Проверку достоверности полученных результатов целесообразно осуществлять с использованием t-критерия Стьюден­та, но уже при зависимых выборках (Годфруа Ж. Что такое психология. Т 2. - М., 1992), к которым относятся результаты одной и той же группы респондентов до и после эксперимента (воздейс­твия независимой переменной). Для этих целей можно воспользоваться формулой:

(4)

где - разность между результатами в каждой сравниваемой паре до и после эксперимента; - сумма этих частных разностей; - сумма квадратов частных разностей; n – число обучающихся.

Если t_табл > t; Р < 0,05; дос­товерно. Это означает, что нулевая гипотеза отвергается и разница между выборками является достоверной. Это свидетельствует о том, что на данную разницу оказало влияние введение независимой переменной, например, обучение с применением новой информационной технологии обучения.

Четвертый этап (выходное анкетирование) проводится в экспе­риментальных группах с целью выявления субъективной оценки обуча­ющихся качества проведения с ними учебных занятий с использованием информационной технологии обучения. Здесь целесообразно особое внимание уделить определению мотивации обу­чения с применением комплекта компьютерных средств, а также оценке психологической и психофизиологической нагрузки, испытываемой респондентами в период экспериментального обучения.

На каждом этапе сравнительного педагогического эксперимента целесообразно производить сбор эмпирического материала, его статистическую обработку и предварительный анализ полученных результатов. На завершающих этапах по раз­ности результатов предварительного и итогового педагогического тестирования, оп­ределяется сравнительная эффективность применения новой информационной технологии обучения и традиционной методики обучения.

В этом случае измерение и оценку дидактической эффективнос­ти можно с достаточной степенью достоверности производить по количественно-качественным показателям учебного процесса путем обобщения и сравнения одних статистических данных с други­ми. Такими показателями выступают выбранные и обоснованные критерии эффективности, которые можно рассматривать как обобщенные результаты достижения постав­ленных целей.

Пятый этап (отсроченное тестирование) целесообразно проводить, как прави­ло, через месячный или больший интервал с целью определения остаточных зна­ний, навыков и умений, приобретенных курсантами и слушателями за период прове­дения экспериментального обучения. На данном этапе, как и на третьем, определяется сравнительная эффективность применения информационной технологии обучения и тра­диционной методики обучения. При этом оценивается наличие у обучающихся остаточных знаний, навыков и умений в рамках изучаемой предметной области.

Точность и чистота педагогического эксперимента могут быть достигнуты с помощью специальных мер по снятию интерферирующего влияния методики представления материала, личностных характерис­тик преподавателя и окружающей среды. Для этого следует рекомен­довать апробацию разработанной методики еще на предварительных этапах эксперимента, что позволит избежать ряда ошибок, которые могут оказать влияние на конечные результаты.

При проведении сравнительного педагогического эксперимента оценку дидактической эффективности применения в учебном процессе информационной технологии обучения предлагается производить используя следующий математический аппарат.

В общем виде эффективность применения в учебном процессе информационной технологии обучения (ИТО) можно определить по формуле

, (5)

где Ро - результаты, достигнутые в процессе обучения. Определяются на основе как качественных, так и количественных показателей; Рц - результаты, соответствующие целям обучения, выраженные в соответствующих параметрах.

Для проведения сравнительного анализа эффективности применения в учебном процессе информационной технологии обучения и традиционной технологии обучения целесообразно воспользоваться следующей формулой

Э_ито= (6)

где Э_ито - эффективность информационной технологии обучения; С_э - сумма оценок, полученных экспериментальной группой по итогам обучения с ее использованием; С_к - сумма оценок, полученных контрольной группой.

Если затраты времени на обучение при использовании информационной технологии обучения и традиционной технологии обучения различны, то эффективность первой определяется по формуле

Э_ито = (7)

где К_вр - временной коэффициент, который выводится через отношения времени, необходимого на обучения в контрольной группе, ко времени, затраченному на подготовку слушателей экспериментальной группы

, (8)

В качестве одного из основных критериев оценки эффективности применения информационной технологии обкчения в педагогических исследованиях часто используется коэффициент оценки (уровня знаний) Ко:

(9)

где - оценка за группу, полученная с использованием ИТО;

- оценка за группу, полученная при традиционной технологии обучения.

В случае если применение в учебном процессе информационной технологии обучения является более эффективным чем использование традиционной технологии обучения, значение коэффициента Ко должно быть больше единицы. (В научных публикациях встречаются данные о повышении уровня знаний в 1,5 - 3 раза. т.е. Ко = 1,5-3).

ПРИЛОЖЕНИЕ 2