Валидность эксперимента и валидность выводов

В целом о валидности эксперимента говорят, подразумевая все формы экспериментального контроля, направленного на обеспечение всех видов валидности. Результаты валидного эксперимента могут служить основанием достоверного вывода, если в целом реализована логически обоснованная система умозаключений, включающая взаимопереходы между разными уровнями гипотез, проверяемых в эксперименте. Если проконтролированы все возможные или наиболее явные угрозы внутренней и внешней валидности, хорошо решены проблемы операционализации переменных и проблемы соответствия, то такой эксперимент оценивается как валидный, или «правильный». Из правильно построенного эксперимента можно сделать достоверные – валидные, или «правильные», выводы, подразумевая отсутствие в них ошибок обобщения или ошибок умозаключений, но в выводах можно ошибиться.

Ошибки выводов, или недостоверные выводы, возможны в результате как неверных обобщений, так и проведения невалидных экспериментов. При понимании экспериментирования как чувственно-предметной деятельности ученого не следует, таким образом, ограничиваться описанием и оценкой того, как операционализируются переменные или как осуществляется их регистрация. Формулирование системы гипотез, оценка валидности эксперимента и реализация выводов входят как нормативы, или нормативные регуляторы, этой деятельности.

Выбор конкретной формы эксперимента связан с разработкой того или иного экспериментального плана (как схемы сбора данных при разных условиях НП) и с другими типами контроля (выбор типа эксперимента, осуществление «первичного» контроля, «дополнительного варьирования» переменных, введение расширенной переменной и т.д.). Решение проблем планирования означает при этом «прописывание» эксперимента в системе классификаций типов экспериментов и видов экспериментальных схем. Это в свою очередь позволяет обозначить возможности и ограничения последующих выводов.

Именно предположения о возможностях последующих обобщений направляют исследователя при решении вопросов содержательного и формального планирования экспериментов. Тем самым проблема выводов и обобщений оказывается разведенной по двум достаточно отстоящим друг от друга этапам – мысленного планирования экспериментальных схем и процедур и обоснования выводов на основании результатов уже проведенного исследования. В реальных экспериментальных исследованиях этому соответствует двухэтапность обобщений: как исходных предположений о виде зависимости между НП и ЗП и как завершающих выводов о возможности обобщений как переноса установленной зависимости за пределы экспериментальной ситуации (обобщения на теоретическую модель, на другие ситуации, виды деятельности, испытуемых и т.д.).

Компоненты содержательного и формального планирования

8.2.1. Подходы к определению термина «планирование эксперимента»

Можно выделить следующие традиции в понимании того, что следует считать планированием психологического эксперимента.

1. Выбор схемы, или плана, получения данных для проверки каузальной гипотезы. Такому представлению о планировании, когда исследователь выбирает ту или иную из набора имеющихся схем, сравнивая их возможности с точки зрения решения проблем приближения эксперимента к безупречному, следует Р. Готтсданкер.

2. Определение типа переменных с точки зрения заданных гипотетических конструктов и решения вопросов об операционализации переменных, а исходя из этого – выбор методических средств, отражающих взаимосвязь аспектов содержательного и формального планирования.

3. Планирование с целью последующего использования статистических решений об экспериментальном факте, а значит, указание того минимального эффекта (в различиях ЗП), который будет принят в качестве критериального для принятия решения об экспериментальном факте.

Выбор из возможных экспериментальных планов

Р. Готтсданкер предлагает анализировать возможные экспериментальные схемы по следующим основным признакам:

q вид схем: предлагаются ли сравниваемые условия НП одному и тому же испытуемому или разным группам людей. В первом случае говорят об интраиндивидуальных схемах, а во втором – о межгрупповых. В качестве промежуточных схем выделяют кросс-индивидуальные, в которых предполагается предъявление всех условий НП каждому испытуемому, но их последовательности варьируют применительно к выделенным подгруппам;

q тип эксперимента: достигается ли условие выделения единичной НП, что характерно для лабораторных экспериментов, или НП представляется в комплексе других условий, в разной степени претендующих на выполнение условия соответствия экспериментальной модели той внешней реальности, на которую будет осуществлено обобщение;

q формы контроля угроз валидности: контролируются ли все те возможные источники возникновения угроз внутренней валидности со стороны побочных переменных (ПП), которые могут обеспечивать систематические, несистематические, сопутствующие смешения (НП с ПП) или ненадежность данных;

q число управляемых факторов: является ли экспериментальная схема факторной или схемой с одной управляемой НП; предполагается ли при этом количественное измерение основных результатов действия переменных (и их взаимодействий при факторных схемах);

q степень согласия с критериями мысленных эталонов эксперимента: достигается ли наилучшая репрезентативность реально проводимого эксперимента по сравнению с мысленными образцами, следование которым обеспечивало бы построение безупречного эксперимента.

Представление об эксперименте как гипотетико-дедуктивном методе при этом опускается, а оценка психологических гипотез рассматривается в одном основном аспекте – контроля угроз внутренней и внешней валидности. Основное внимание уделяется обоснованию преимуществ использованной стратегии подбора испытуемых в группы, их отбора из популяции, если речь идет о межгрупповых схемах, или распределения экспериментальных условий в общей их последовательности (при контроле факторов задач, времени, несистематической изменчивости), если речь идет об интраиндивидуальных схемах.

По-разному для этих схем решаются проблемы планирования для достижения приемлемой надежности данных. Оценка надежности зависит от контроля несистематической изменчивости, вариабельности использованных переменных и выбранного числа опытов для разных экспериментальных условий. С точки зрения контроля факторов ненадежности данных обсуждаются и возможности проводить усреднение показателей ЗП по разным условиям или для разных групп испытуемых и т.д. За выбранным числом проб, приходящихся на одно и то же условие НП, стоит принятый критерий количественной оценки необходимой величины экспериментального эффекта, без достижения которого экспериментальная гипотеза считается не выдержавшей опытную проверку и должна быть отвергнута.

По существу, элементы содержательного планирования присутствуют во всех проводимых экспериментах. Выбор схемы – это завершающий этап планирования. Формальное планирование начинается с этапа выбора между интраиндивидуальными и межгрупповыми способами сравнения ЗП. Учет дополнительных переменных или обсуждение общности экспериментальной выявленной тенденции для других испытуемых – это продолжение решения вопросов содержательного планирования, поскольку они прямо связаны с контролем уровня обобщений устанавливаемой зависимости.

Так, в примере с демонстрацией случайной стратегии образования экспериментальной последовательности условий НП – эксперимента на выявление предпочтений сортов томатного сока, представляемого также как пример эксперимента, дублирующего реальный мир, учитывается связь между обобщением как прогнозом для отдельного конкретного человека и необходимостью использовать интраиндивидуальные схемы. То, что эксперимент проводится в практических целях и то, каким образом в нем решены проблемы соответствия, определяет и обобщения (как рекомендации далее покупать сок определенного сорта). Чаще экспериментальная модель не так прямо определяет возможности обобщений.