Контроль post factum

Для того чтобы говорить о причинно-следственной зависимости между переменными, необходим достаточный контроль всех известных к моменту проведения исследования возможных объяснений полученных различий в психологических показателях (между сравниваемыми условиями НП или группами испытуемых) или установленных связей двух (и более) переменных. «Контроль после», или контроль post factum, – это разработанная для квазиэкспериментов схема работы с полученными данными, позволяющая оценить возможные влияния БПП на изучаемую зависимость после того, как завершена основная эмпирическая часть исследования. Однако для этого нужно, чтобы дополнительно были измерены соответствующие БПП, рассматриваемые как возможные источники смешений. Эти измерения возможно произвести и после получения основной связи. Обычно это какие-то другие показатели, или так называемые третьи переменные (третьи по отношению к первым двум, для которых устанавливается основная зависимость). Содержательно они отражают те влияния, которые имели место в момент измерения ЗП. В этом смысле они измерены «после» эффекта, связанного с влиянием аналога экспериментального фактора.

Подробно схемы «контроля после» изложены в не переведенной на русский язык книге Дж. Кэмпбелла [74], поэтому им необходимо уделить специальное внимание. Ниже представлена общая схема такой системы рассуждений. «Контроль после» предполагает улучшение контроля за выводом в квазиэксперименте. Реально его применение может существенно повысить валидность выводов в любом корреляционном исследовании. Главное, чтобы были выделены (эксплицированы) те побочные переменные, которые могут исказить основной исследуемый эффект, т.е. предполагаемую психологическую закономерность, и имелись методические средства их измерения.

Схемой «контроля после» решается проблема выделения эффектов смешений с переменными, которые не были включены в квазиэкспериментальный или корреляционный план, но могут, судя по данным литературы, влиять на ЗП или на обе основные переменные, между которыми устанавливается связь. Тем самым выделяются возможные угрозы валидному выводу со стороны БПП. Сами эти БПП, смешивающиеся с основными базисными переменными, не могут быть элиминированы. Контроль заключается в измерении влияния каждой из возможных БПП в отдельности, а также в статистическом сравнении выраженности эффекта их влияния по сравнению с основным эффектом, оцениваемым в основном как эффект влияния разницы групп по первичному квазиэкспериментальному плану.

Схема контроля post factum.Связи выводов о влиянии переменных со статистическими решениями на каждом шаге этого контроля выглядят следующим образом.

Случай первый

1.1. Допустим, получено статистически значимое различие выборочных показателей (например, средних) между основными группами, отличающимися по основной (независимой или базисной) переменной. Статистическое решение звучит при этом как отвержение нуль-гипотезы. После этого проверяется гипотеза об отсутствии значимой связи между основной переменной, выступившей в качестве аналога НП и определившей исходное различие групп, и БПП.

Если установлено отсутствие значимых связей между ними, то вывод об исследуемой эмпирической зависимости, или об основном эффекте влияния НП, считается достаточно валидным. Если, напротив, выявлена связь основной переменной и БПП, то требуется оценка самостоятельного влияния БПП на ЗП или ее аналог. Эта оценка будет не лишней и в случае, указанном выше, так как, не будучи значимо связанной с НП, БПП все же может оказывать значимое влияние на показатели ЗП. Эта оценка осуществляется путем соединения всей совокупности показателей (по всем группам или условиям) в одну выборку и нового ее деления на группы в соответствии со значениями БПП, выступающей теперь как новое основание отличия групп.

1.2. Теперь оценивается значимость связи или значимость различия по отношению к новому критерию отличия групп, образованных в соответствии с уровнями измеренной для этих же испытуемых БПП.

Если показано отсутствие значимых связей между значениями БПП и ЗП, то вывод об основной эмпирической зависимости также считается достаточно валидным. Если установлены корреляции БПП с ЗП или эффект различий ЗП в зависимости от нового критерия деления на группы, то требуется учет смешения, т.е. признание в выводах, что именно БПП могла определить основной эффект.

Случай второй

2.1. Допустим, не установлено статистически значимых различий между значениями ЗП (по отношению к исходному плану) или значимых связей между аналогом НП и ЗП. Не установлены и значимые различия при использовании нового критерия разбиения на группы в соответствии с уровнями БПП. Тогда вопрос о том, какой базисный процесс лежит в основе экспериментальной деятельности испытуемых, или ключевой переменной, остается открытым. В выводах принимается, что основная гипотеза не выдержала опытной проверки. Это не исключает ее новой проверки – при иных способах операционадизации переменных, иных планах установления изучаемой зависимости, экспликации иных БПП.

2.2. Предположим теперь иные результаты: не установлены значимые эффекты (заданного различия групп как аналога НП) по отношению к исходному плану, однако значимыми оказались эффекты влияния БПП на ЗП или значимыми оказались связи между БПП и вариатой, измеренной в качестве аналога НП. Таким образом, при разбиении измеренных показателей на новые группы в соответствии с уровнями БПП получен эффект, не установленный для НП (или основной базисной переменной). При таком исходе можно сделать вывод о том, что не предполагавшийся в начальной экспериментальной гипотезе, а стоящий за измеренной БПП базисный процесс определяет значения ЗП.

Итак, общая схема квазиэкспериментирования как проведения контроля post factum представляет собой систему сравнений влияния базисных побочных переменных, измеренных в качестве индивидуальных различий, на изучаемый базисный процесс. Предположительно он детерминирован уровнями условно выделенной НП, означающей лишь осуществление функционального контроля факторов «внутренних условий» посредством подбора групп. Контроль за выводом включает в построенной квазиэкспериментальной схеме таким образом три этапа:

I – этап первоначального подбора групп с разным составом, отличающимся по уровням основной базисной переменной (выступающей в качестве аналога НП);

II – этап экспериментального сравнения значений ЗП в этих группах, т.е. поиск «экспериментального эффекта» этой базисной переменной;

III – этап контроля смешений выявленного основного эффекта с базисными побочными переменными в целях доказательства того, что разница в результатах первоначально отличающихся групп не может быть приписана изменениям других (факторов индивидуальных различий, также возможно влияющих на исследуемый базисный процесс.

Статистически оценивается значимость (или достоверность):

q результатов сравнений зависимой переменной (или ее аналога) по, отношению к исходному квазиэкспериментальному плану, т.е. эффект влияния основного фактора, в соответствии с которым происходило распределение испытуемых в экспериментальную и контрольную группы;

q связи выделенной базисной побочной переменной с исходным критерием образования экспериментальной и контрольной групп;

q различий выборочных значений ЗП в новых группах, образованных в соответствии с уровнями смешивающейся БПП.

Выделенная в конкурирующей гипотезе БПП может быть измерена как до, так и после установления основных связей (между НП или ее аналогом и ЗП). Однако образование новых групп осуществляется после измерения основных эффектов и служит их уточнению, т.е. цели контроля за выводом. Поэтому название «контроль после» остается общим при любом моменте измерения собственно БПП.

«Экспериментом ex post factum» называется также случай сбора данных, когда рассматриваемое в качестве экспериментального воздействия влияние фактора (например, школьного обучения) имело место в прошлом, и соответствующая переменная (аналог НП) лишь реконструируется во время проведения исследования. Как указывалось в предыдущей главе, если основой выделения НП служат ретроспективные отчеты, то такое исследование следует рассматривать в качестве корреляционного.

Правильные ответы на предлагаемые контрольные вопросы возможны при более детальной проработке раздела 13.2 «Квазиэкспериментальные планы» в контексте соотнесения двух направлений размышлений психолога: 1) характерного для квазиэкспериментирования снижения экспериментального контроля, но 2) предполагаемого усиления контроля за выводом.

Контрольные вопросы

Предлагаемые контрольные вопросы предполагают возможность выбора правильных утверждений из ряда возможных, т.е. построены как средства самопроверки.