Виды валидности эксперимента

Виды валидности. Эксперименты являются средством проверки гипотез о причинности. По традиции предполагается, что существуют три необходимых условия для утверждения с определенной долей уверенности о том, что отношение между двумя переменными является причинными и что направление причинности от А к В.

Первое условие относится к временной последовательности: причина должна предше­ствовать по времени эффекту. Обычно это условие со­блюсти нетрудно, если исследователь знает, когда испытуемые подвергались экспериментальному воздействию. В квазиэкспериментах исследователь может сочетать такого рода влияние со своим знанием результатов испытуемых до и после экспериментального воздействия и может связать воздействие с некоторыми показате­лями изменения зависимой переменной. Если после эксперименталь­ного воздействия обнаружатся различия, связанные с воздействием, то можно полагать, что такие различия вызваны именно экспериментальным воздей­ствием.

Второе необходимое условие для обоснованного вы­вода о причинной зависимости В от А состоит в том, что воздействие должно быть статисти­чески связано с эффектом, так как, если возможная причина и эффект не связаны друг с другом, одно не может быть причиной другого. Для проверки существо­вания такой связи используются статистические показатели; разработаны критерии для принятия решения о существовании связи с определенной вероятностью неправильного вывода (например, р<0,05). Таким образом, ста­тистические показатели действуют как фильтры.

Третье необходимое условие каузального вывода состоит в том, что не должно быть правдоподобного альтернативного объяснения появления В помимо А. Это условие труднее всего соблюсти в связи с другими обстоятельствами. Первое — относящееся в основном к квазиэкспериментам — связано с валидностью альтер­нативных интерпретаций, которые предполагают, что кажущаяся причинная связь А и В фактически может быть обусловлена действием третьей переменной, которая и вызывает изменения В.

Но эксперимент не является единственным средством установ­ления причинности. Такая наука, как астрономия, раз­вивалась без экспериментирования потому, что она имела надежные методы наблюде­ния и количественные теории, позволяющие предсказы­вать точное местоположение, точные орбиты и времен­ные интервалы движения в пространстве. Точность чис­ленных предсказаний означает, во-первых, что предска­зания могут быть проверены самым тщательным образом и, во-вторых, что различные теории, на основе которых делаются различные численные предсказания, могут быть противопоставлены друг другу.

Точность эксперимента. Чтобы быть полезными, экспериментальные методы должны обеспечивать точность и надежность информации. Точность научной информации зависит от таких критериев, как достоверность, объективность, валидность.

Достоверность экспериментальных данных.Процесс измерения является тем более достоверным, чем слабее влияние случайных факторов и чем более постоянные результаты он дает. При создании методов, предназначенных для измерения переменных характеристик (например, поведения), считается, что нестабильность результатов во времени необязательно является показателем ошибки. Понятие достоверности включает также понятие стабильности. Под стабильностью подразумевается постоянство полученных результатов при различных условиях применения одного и того же инструмента. Необходимо различать изменчивость как результат реальных модификаций изучаемой характеристики и изменчивость как результат модификаций, вызываемых инструментом.

Объективность.Каждое измерение, проведенное человеком, допускает определенную степень субъективности. Существуют статистические методы для определения степени объективности измерения.

Валидность.Оценивается, измеряется ли рассматриваемая характеристика или, напротив, измерение отражает влияние других факторов. Валидность инструмента измерений оценивается в зависимости от степени соответствия результатов другим фактам.

В гуманитарных науках мало методик, которые удовлетворяют всем этим критериям. Задача исследователя заключается в том, чтобы отделить результаты измерений, связанные с реальными отличиями, существующими между испытуемыми, от результатов, полученных за счет случайных влияний, то есть установить ошибку измерения.

Если заранее известно, что валидность измерений будет низкой (например, из-за особенностей источника информации), то единственная стратегия, ведущая к увеличению валидности, состоит в систематическом использовании различных измерений одной и той же переменной (повторные измерения).

Валидность исследования. Валидность исследования относится к установлению точности выводов исследования и подчеркивает относительный характер истины, которой возможно достичь в психологии. В любом научном исследовании исследователь должен уметь ответить на следующие вопросы:

· существует ли зависимость между двумя переменными;

· является ли данная зависимость значимой;

· носит ли эта зависимость причинный характер;

· действительно ли процедуры измерения и наблюдения относятся к исследуемым конструктам;

· могут ли быть обобщены причинные зависимости, выявленные в ходе исследования.

Выделяются следующие типы валидности.

Валидность статистических выводов. Этот тип валидности соответствует проверке статистической значимости зависимости между двумя переменными. Такие выводы всегда являются вероятностными.

При этом можно совершить два типа ошибок: решить, что зависимость является значимой, в то время, когда это не так, или решить, что значимая зависимость между переменными отсутствует, когда, напротив, она имеется.

Существуют некоторые факторы, которые могут снижать валидность статистических выводов:

· слабая чувствительность исследований, которая проявляется при недостаточной по численности выборке или при большой изменчивости в сравниваемых группах, то есть испытуемые являются слишком разными и сильно отличаются друг от друга относительно некоторых переменных;

· низкая надежность методик измерения или процедур манипулирования переменными, которые используются в исследовании;

· факторы помех, присутствующие в условиях эксперимента;

· нарушение принятых правил проведения и обработки, которые установлены для различных статистических методов.

Стратегия повышения валидности статистических выводов состоит в уменьшении вариативности ошибки путем применения, например, схемы исследования с повторными пробами или использования однородных групп. Статистическая состоятельность исследования может быть оценена как на стадии проектирования исследования (например, проверка расчета величины выборки), так и после исследования.

Валидность процедур. Валидность процедур позволяет варьировать и измерять переменные. Даже необходимость определить в операциональных терминах концептуальные переменные, значимые для исследования, уже является источником риска. Действительно, "перевод" понятия на уровень конкретных операций может неадекватно отразить теоретические положения исследования.

Существуют так называемые "переменные-паразиты", которые могут активизировать изменения переменных. "Переменные-паразиты" бывают двух типов:

· "переменные-паразиты" особого типа, то есть переменные, связанные только с определенными операциями, производимыми в данном исследовании.

· "переменные-паразиты" общего типа, то есть переменные, связанные с экспериментальными условиями косвенно, например, с ожиданиями исследователя.

Часто исследователь неосознанно стимулирует ответ, который он ожидает получить. Избежать этого можно, используя стратегии невмешательства в исследования и соответствующие методы измерения. При этом испытуемые не должны знать, что за ними наблюдают, что позволяет снять нежелательную мотивировку по отношению к эксперименту.