Лекция 6 (1 час) Тема: Математические методы обработки результатов педагогического эксперимента. Критерий знаков.

К методам эмпирического уровня исследования обычно относятся: наблюдение, опрос (беседа, интервью, анкетирование), оценивание (метод экспертов или компетентных судей), тестирование, изучение и обобщение педагогического опыта, опытная педагогическая работа, эксперимент. Последние три по существу представляют собой комплексные методики, включающие определенным образом соотнесенные частные методы.

Объем и характер опытно-экспериментальной работы в педагогических исследованиях обычно не вызывает существенных возражений. Копья скрещиваются чаще всего при интерпретации результатов, обоснования применявшихся критериев оценки и методик статистической обработки данных.

Наблюдение – целенаправленное изучение предметов, опирающееся на данные органов чувств (ощущения, восприятия, представления).

В зависимости от степени вовлеченности исследователя в изучаемую среду выделяют два вида наблюдений:

· включённое, когда имеет место личное участие наблюдателя в воспринимаемой и регистрируемой им деятельности;

· стороннее, когда событие происходит без непосредственного участия в нём наблюдателя, действующего как бы «со стороны».

По характеру взаимодействий с объектом существуют следующие виды наблюдений:

· скрытое, при котором люди не знают, что являются наблюдаемыми;

· открытое, при котором люди осведомлены о производимом наблюдении.

Относительно времени исследования различают наблюдение:

· однократное, единичное, производимое только один раз;

· периодические, осуществляемое в течение определённых промежутков времени;

· лонгитюдное (от англ. «долгота»), характеризующееся особой протяжённостью, постоянством контакта исследователя и объекта в течение длительного времени.

По характеру восприятия наблюдение может быть:

· сплошным, когда исследователь обращает своё внимание в равной степени на все доступные ему объекты;

· выборочным, когда его интересуют лишь определённые параметры поведения или типы поведенческих реакций.

По характеру регистрации данных наблюдение подразделяют на:

· констатирующее, где задача исследователя – чётко зафиксировать наличие и характеристики значимых форм поведения, собрать факты;

· оценивающее, где исследователь сравнивает факты по степени их выраженности в каком-либо диапазоне.

Требование к организации наблюдения:

· проводится с заранее запланированной, четко поставленной целью;

· осуществляется по заранее продуманному и написанному плану;

· количество исследуемых качеств, признаков и т.д. должно быть минимальным;

· точно определены исследуемые качества, признаки и т.д.;

· заранее предусмотреть возможность появления ошибок при проведении наблюдения, по возможности предупреждать их;

· адекватность наблюдения его условиям;

· репрезентативность информации

Опросные методы

Метод опроса становится все более популярным в практике педагогических исследований. Опрос может быть непосредственным (беседа, интервью) и опосредованным (анкетирование). Различают так же групповой и индивидуальный опрос, очный и заочный, устный и письменный.

Беседа ‒ это метод получения информации на основе диалога исследователя и исследуемого. Главное условие успеха беседы ‒ установление личностных контактов с ребенком, создание дружеской атмосферы, доверительности. Когда ребенок видит человека заинтересованного, который стремиться понять его и помочь, не критикует, не осуждает, не навязывает свою точку зрения, а может просто выслушать или дать дельный совет, тогда можно рассчитывать на искренность школьника. Беседа требует особой гибкости и чуткости, знания индивидуальных особенностей ребят, умения слушать и разбираться в эмоциональном состоянии.

Беседа может быть индивидуальной, групповой или коллективной. В любом случае она требует серьезной подготовки. Необходимо продумать цель беседы, определить предмет разговора, составить план ее проведения, сформулировать вопросы, подоб­рать проблемные ситуации, противоречивые точки зрения к обсуждаемой проблеме и т.п. При постановке цели беседы нельзя ограничиваться только задачами своего исследования. Для школьников она должна носить познавательный характер. Данные, полученные в беседе с детьми, фиксируются и сопоставляются с данными, полученными с помощью других методов исследования.

Беседа носит характер взаимного обмена информацией. В случае, когда исследователь только задает вопросы, не высказывая своего мнения, мы имеем дело с интервьюированием.

Если опрос проводится письменно, мы говорим об анкетировании. Большим плюсом анкетирования является то, что исследованием может быть охвачено любое количество учащихся, полученные данные достаточно легко обрабатываются. Однако следует иметь в виду, что составление анкет ‒ это сложный процесс, требующий профессиональных знаний, поэтому лучше воспользоваться готовыми анкетами.

По форме анкеты могут быть разделены на открытые, когда ответ на поставленный вопрос формулируют сами учащиеся, и закрытые, когда предлагается перечень возможных вариантов ответа. В.В. Егоров, Э.Г. Скибицкий выделяют следующий ряд правил:

1) содержание анкеты должно быть подчинено теме и задачам исследования. Для этого каждый вопрос нужно соотнести с задачами исследования;

2) язык анкеты должен быть распространен от распространенных клише, газетных штампов, стереотипных оборотов. Он должен быть близок к речи обследуемой совокупности лиц и оперировать ситуациями, достаточно близкими и понятными респондентам;

3) при формулировки «подсказок» ‒ избираемых вариантов ответа – нужно избегать психологического давления на респондента, навязывания ему точки зрения, наиболее удобной для исследователя;

4) необходимо соблюдать пропорции в подборе «положительных» и «отрицательных» суждений, обращать внимание на их расположение в анкете;

5) респондент не должен решать в ходе опроса сложных задач, отнимающих у него много времени;

6) анкета должна быть выверена и построена с учетом обстоятельств, проистекающих из места проведения опроса;

7) анкету необходимо полиграфически оформить.

Тестирование – стандартизированное испытание, предназначенное для установления количественных и качественных индивидуально-психологических различий.

Требования к тестам:

· тест должен предусматривать такой спектр видов деятельности испытуемого, в котором бы максимально отражались сущностная и деятельностная стороны диагностируемых знаний и умений. Это позволит разработать комплекс коррекционных мер;

· тест не должен быть скоростным, если скорость выполнения заданий не является объективной характеристикой внешнего критерия;

· тест должен иметь как минимум две эквивалентные формы;

· все тестовые задания и инструктивные материалы к тесту должны быть представлены лексически грамотно, доступным для понимания языком, в лаконичной форме;

· ответы на одни задания не должны зависеть от ответов на другие задания;

· ответы на задания не должны являться подсказками других заданий.

Эксперимент ‒ метод эмпирического исследования, при котором ученый воздействует на изучаемый объект с помощью специальных материальных средств (экспериментальных установок и приборов) с целью получения необходимой информации о свойствах и особенностях этих объектов или явлений.

Принципы теории планирования эксперимента:

• стремление к минимизации общего числа опытов;

• одновременное варьирование всеми переменными, определяющими процесс, по специальным правилам – алгоритмам;

• использование математического аппарата, формализующего многие действия экспериментатора;

• выбор четкой стратегии, позволяющей принимать обоснованное решение после каждой серии экспериментов.

Классификация экспериментов

По способу формирования условий: естественные, искусственные.

По условиям проведения: лабораторный, естественный, исследовательский, проверочный, воспроизводящий.

По основной цели: преобразующие, констатирующие, контролирующие, поисковые, решающие.

По характеру исследуемого объекта физические: химические, биологические, психологические, социальные эксперименты.

По структуре изучаемых объектов и явлений: простые, сложные.

По характеру внешних воздействий на объект исследования: вещественные, энергетические, информационные.

По характеру взаимодействия средства экспериментального исследования с объектом исследования: обычный (прямой), модельный.

По типу моделей, исследуемых в эксперименте: материальный, мысленный.

По контролируемым величинам: пассивный, активный.

По числу варьируемых факторов: однофакторный, многофакторный.

По характеру изучаемых объектов или явлений: технологические, социометрические.

По методу и результатам исследования: качественный, количественный.

По самому методу осуществления: статистические, нестатистические.

Методика эксперимента включает:

· проведение предварительного целенаправленного наблюдения над изучаемым объектом или явлением с целью определения исходных данных (гипотез, выбора варьирующих факторов);

· создание условий, в которых возможно экспериментирование (подбор объектов для экспериментального воздействия, устранение влияния случайных факторов);

· определение пределов измерений;

· систематическое наблюдение за ходом развития изучаемого явления и точные описания фактов;

· проведение систематической регистрации измерений и оценок фактов различными средствами и способами;

· создание повторяющихся ситуаций, изменение характера условий и перекрестные воздействия, создание усложненных ситуаций с целью подтверждения или опровержения ранее полученных данных;

· переход от эмпирического изучения к логическим обобщениям, к анализу и теоретической обработке полученного фактического материала.

Статистические требования к результатам: требование эффективности, требование состоятельности, требование несмещенности оценок, совместимость требований, отсутствие корреляции между любыми двумя факторами, совместимость факторов.

Измерение – это нахождение искомой величины опытным путем с помощью специальных технических средств или методов. Суть измерения составляет сравнение измеряемой величины с известной величиной, принятой за единицу (эталон).

Теорией и практикой измерения в технических науках занимается метрология – наука об измерениях, методах и средствах обеспечения их единства и способах достижения требуемой точности.

Классификация измерений: прямые и косвенные, абсолютные и относительные, совокупные и совместные.

Методы измерений: метод непосредственной оценки, метод сравнения, метод противопоставления.

Методы сравнения: нулевой метод, дифференциальный метод, метод замещения, метод совпадений.

Характеристика измерительных приборов: погрешность, чувствительность, точность, стабильность.

Статистические методы исследования.

Математическая статистика ‒ область науки, изучающая случайные явления, разрабатывающая математические методы систематизации, обработки и использования статистических данных для научных и практических выводов.

Составными частями математической статистики являются: описание данных, статистическое оценивание, проверка статистических гипотез.

Числовые статистические данные – это числа, вектора, функции. Их можно складывать, умножать на коэффициенты. Поэтому в числовой статистике большое значение имеют разнообразные суммы.

Нечисловые статистические данные – это категоризованные данные, вектора разнотипных признаков, бинарные отношения, множества, нечеткие множества и др. Их нельзя складывать и умножать на коэффициенты. Поэтому не имеет смысла говорить о суммах нечисловых статистических данных. Они являются элементами нечисловых математических пространств (множеств).

Математический аппарат анализа нечисловых статистических данных основан на использовании расстояний между элементами (а также мер близости, показателей различия) в таких пространствах.

Данные (data) представляют собой результаты наблюдений, испытаний, накапливаемые с целью последующего изучения и анализа.

Переменная, признак (variable) - это некоторая общая для всех изучаемых объектов характеристика или свойство, конкретные проявления которого могут меняться от объекта к объекту.

Проявления признака называют значениями, показателями, альтернативами, градациями.

Распределение переменной (distribution of the variable) - совокупность различных значений, которые переменная принимает для различных изучаемых объектов.

Генеральная совокупность (population) - вся интересующая исследователя совокупность изучаемых объектов.

Выборка, выборочная совокупность (sample) - некоторая, обычно небольшая, часть генеральной совокупности, отбираемая специальным образом и исследуемая с целью получения выводов о свойствах генеральной совокупности.

Измерение (measurement) означает присвоение чисел характеристикам изучаемых объектов, явлений согласно некоторому правилу.

Шкала (scale) есть правило или алгоритм, в соответствии с которым изучаемым объектам, явлениям присваиваются числа.

Критерии измерений: надежность измерения (reliability), достоверность измерения (validity), завершенность измерения (exhaustive), единственность измерения (mutually exclusive).

Измерительные шкалы (С. Стивенс): номинативная, или номинальная, или шкала наименований (в том числе дихотомическая); порядковая, или ранговая, или ординальная шкала; интервальная, или шкала равных интервалов; шкала равных отношений или реляционная шкала. Стивенсовская типология измерительных шкал получила повсеместное распространение, однако, по мнению Суходольского Г.В. к числу измерительных шкал относятся только интервальные и реляционные шкалы.

Представление данных: группировка, табулирование, ранжирование, распределение частот, интервальное распределения частот, статистические ряды, графическое представление данных.

Меры центральной тенденции: мода, медиана, среднее арифметическое значение, среднее геометрическое, среднее гармоническое.

Меры изменчивости (вариативности): размах, квартильный размах, дисперсия, стандартное отклонение, коэффициент вариации, асимметрия, эксцесс.

Любое множество n данных со средним и стандартным отклонением Sx можно преобразовать в другое множество со средним 0 и стандартным отклонением 1 таким образом, что преобразованные значения будут непосредственно выражаться в отклонениях исходных значений от среднего, измеренных в единицах стандартного отклонения. Новые значения называют значениями z.

Исследовательский анализ данных (Exploratory Data Analysis - EDA) представляет собой применение статистических методов для представления, упорядочения данных и понимания их важнейших характеристик. Это комплексный анализ характеристик распределения: измерение центральной тенденции, измерение вариации, нахождение и анализ выбросов, анализ формы распределения.

Выборки: зависимые (связные), независимые (несвязные).

Требования к формированию выборок: однородность, репрезентативность, повторность или безповторность.

Статистический метод определения объема безповторной выборки.

Алгоритм решения:

• Определить, какая модель кажется наиболее подходящей для доказательства научных предположений.

• Ознакомиться с описанием метода, примерами и задачами.

• Рассмотреть ограничения критерия и возможность сбора необходимых данных.

• Определить объем выборки.

• Обеспечить доступ к выборке.

• Провести исследование, обработать полученные данные по заранее выбранному алгоритму.

• Если ограничения выполнить не удалось, обратиться к предыдущим шагам, когда данные уже получены.

Статистические гипотезы:

Но: гипотеза об отсутствии различий (нулевая гипотеза).

Н1: гипотеза о значимости различий (альтернативная гипотеза).

Для принятия решений о том, какую из гипотез следует принять, используют решающие правила – статистические критерии

Правила принятия гипотез:

• Если полученное исследователем эмпирическое значение критерия оказывается меньше или равно критическому, то принимается нулевая гипотеза.

• В противном случае, если эмпирическое значение критерия оказывается строго больше критического, то нулевая гипотеза отвергается и принимается альтернативная гипотеза.

В разных науках принято считать низшим разный уровень статистической значимости, например, в психологии и педагогике – это 0,05, в экономике, физике – это 0,01.

Классификация задач

1. Выявление различий в уровне исследуемого признака

2. Оценка сдвига значений исследуемого признака

3. Выявление различий в распределении признака.

4. Выявление степени согласованности изменений

5. Анализ изменений признака под влиянием контролируемых условий

6. Методы многомерного анализа

Корреляционный анализ

Степень (сила или теснота) корреляционной связи определяется по величине коэффициента корреляции, обозначающегося часто как r. -1 ≤ r ≤ +1.

Сила связи не зависит от ее направленности и определяется по абсолютному значению коэффициента корреляции /r/.

Если коэффициент корреляции по модулю оказывается близким к 1, то это соответствует высокому уровню связи между переменными.

Интерпретируя результаты опытно-экспериментальной работы необходимо иметь в виду, что невозможно за короткий промежуток времени оценить ее эффективность, так как, во-первых, личность формируется долгий промежуток времени, а педагогический эксперимент ограничен во времени, во-вторых, на формирование и развитие личности накладывает свой отпечаток бесчисленное множество разнообразных факторов, многие из которых учесть невозможно. Поэтому необходимо подчеркнуть условность результатов всех педагогических экспериментов в силу особой специфики педагогической науки.

Помимо всего прочего, результат опытно-экспериментальной работы всегда имеет личностную обусловленность, субъективность во взаимоотношениях между учителем и учащимися. Каждый класс имеет свое «лицо», любой педагог имеет свои симпатии и антипатии, которые могут им и не осознаваться. Поэтому для получения действительно достоверных результатов исследования и нейтрализации воздействия субъективных факторов, необходимо привлечение огромных контингентов учащихся и педагогов. Однако это не всегда возможно, не всегда целесообразно.

Дополнительная литература по теме.

Методы системного педагогического исследования: Учеб. пособие / Под ред. Н.В. Кузьминой. – Л.: Ленинград. гос. ун-т, 1980. – 172 с.

Наследов А.Д. Математические методы психологического исследования. Анализ и интерпретация данных. – СПб.: Речь, 2007 – 223 с.

Сидоренко Е. Методы математической обработки в психологии. – СПб.: Речь, 2006. ‒ 350 с.

Критерий знаков G предназначен для установления общего направления сдвига исследуемого признака. Он позволяет установить, в какую сторону в выборке в целом изменяются значения признака при переходе от первого измерения ко второму: изменяются ли показатели в сторону улучшения, повышения или усиления или, наоборот, в сторону ухудшения, понижения или ослабления.

Описание критерия G

Сдвиг ‒ это разность между вторым и первым замерами. Сначала вычисляются разности отдельно для каждой из групп, а уж затем проводятся сопоставления двух рядов разностей (сдвигов), полученных в разных группах.

Критерий знаков с математической точки зрения является частным случаем биномиального критерия для двух равновероятных альтернатив. При вероятности каждой из альтернатив P=Q=0,50 критерий знаков является зеркальным отражением биномиального критерия.

Критерий знаков применим и к тем сдвигам, которые можно определить лишь качественно (например, изменение отрицательного отношения к чему-либо на положительное), так и к тем сдвигам, которые могут быть измерены количественно (например, сокращение времени работы над заданием после экспериментального воздействия).

Во втором случае, однако, если сдвиги варьируют в достаточно широком диапазоне, лучше применять критерии ТВилкоксона. Он учитывает не только направление, но и интенсивность сдвигов и может оказаться более мощным в определении достоверности сдвигов, чем критерий знаков.

Как правило, исследователь уже в процессе эксперимента может заметить, что у большинства испытуемых показатели во втором замере имеют тенденцию, скажем, повышаться. Однако ему еще требуется доказать, что положительный сдвиг является преобладающим.

Для начала мы назовем сдвиги, которые нам кажутся преобладающими, типичными сдвигами, а сдвиги более редкого, противоположного направления, нетипичными. Если значения показателя повышаются у большего количества испытуемых, то этот сдвиг мы будем считать типичным. Если мы исследуем отношение испытуемых к какому-либо событию или предложению, и после экспериментальных воздействий у большинства испытуемых отрицательное отношение сменилось на положительное, то этот сдвиг мы назовем типичным.

Есть ещевозможность «нулевых» сдвигов, когда реакция не изменяется или показатели не повышаются и не понижаются, а остаются на прежнем уровне. Однако такие «нулевые» сдвиги в критерии знаков исключаются из рассмотрения. При этом количество сопоставляемых пар уменьшается на число таких «нулевых» сдвигов.

Суть критерия знаков состоит в том, что он определяет, не слишком ли много наблюдается «нетипичных сдвигов», чтобы сдвиг в «типичном» направлении считать преобладающим? Ясно, что чем меньше нетипичных сдвигов, тем более вероятно, что преобладание «типичного» сдвига является преобладающим. G ‒ это количество «нетипичных» сдвигов. Чем меньше G, тем более вероятно, что сдвиг в «типичном» направлении статистически достоверен.

Гипотезы

Но: Преобладание типичного направления сдвига является случайным.

H1: Преобладание типичного направления сдвига не является случайным.

Графическое представление критерия знаков

Рис 1 Графическое представление положительных и отрицательных сдвигов в форме облаков светлое облако ‒ положительные сдвиги, темное облако ‒ отрицательные сдвиги

На Рис. 1 «типичные» сдвиги изображены в виде светлого облака, а нетипичные сдвиги ‒ темного облака. Мы видим, что на рисунке темное облако значительное меньше. Допустим, после выступления оратора большинство слушателей изменили свое отрицательное отношениек какому-то предложению на положительное. Вместе с тем, часть слушателей изменила свое положительное отношение на отрицательное, проявив «нетипичную» реакцию. Критерий знаков позволяет определить, не слишком ли значительная часть слушателей «нетипично» прореагировала на выступление оратора? Поглощает ли масса светлого облака небольшое темное облако?

В Таблице 1 (см. приложение) даны критические значения критерия знаков для разных n. Поскольку критерий знаков представляет собой одно из трех исключений из общего правила, представим обобщенную «ось значимости» для этого критерия графически (Рис. 2)

Рис. 2 Ось значимости

Зона значимости простирается влево, в сторону более низких значений, поскольку чем меньше «нетипичных» знаков, тем достовернее «типичный» сдвиг. Зона незначимости, напротив, простирается вправо, в сторону более высоких значений G. Постепенно «нетипичных» сдвигов становится так много, что теряется само ощущение какого-то преобладания в направленности сдвигов. Зона незначимости характеризует ситуацию, когда сдвиги обоих направлений перемешаны.