Верификация: надежность, валидность и возможность генерализации

До сих пор в этой главе рассматривался основной процесс получения научных выводов из определенной серии наблюдений с целью получения ответа на вопрос исследования. В индустриально-организационной психологии этот процесс обычно основывается на статистическом анализе, фундаментом которого является концепция значимости. Однако научный метод требует от исследователя не только получения значимых результатов. Необходимо также проверить результаты. Подтверждение или доказательство обоснованности результатов называется их верификацией. Для веритификации результатов конкретного научного исследования необходимо ответить на три вопроса:

1. Надежны ли полученные выводы? Другими словами, позволят ли данные наблюдений прийти к тем же выводам, если в точности повторить исследование?

2. Валидны ли выводы? Другими словами, измерил ли исследователь именно те переменные, которые намеревался измерять; контролировал ли он наиболее важные искажающие переменные и правильно ли он пользовался методикой получения выводов? Если да, то его результаты не имеют другого очевидного возможного объяснения.

3. Существует ли возможность генерализации выводов? Другими словами, можно ли распространить результаты на других людей (популяцию) или они справедливы только для тех (испытуемых), которые участвовали в исследовании (выборка)?

Для иллюстрации того, как следует отвечать на эти три вопроса применительно к выводам, сделанным из конкретного научного исследования, мы воспользуемся исследованием Ким и Кампанья (Kim & Campagna, 1981), посвященном абсентеизму. Эти исследователи провели полевой эксперимент, манипулируя определенными аспектами условий работы (независимая переменная) и измеряя уровни абсентеизма служащих (зависимая переменная). Они рассматривали уровень абсентеизма в условиях гибкого графика работы (когда люди могли выбирать для себя время работы) и в условиях стандартной организации рабочего времени (когда все работают в одно и то же установленное время). На основе анализа своих наблюдений они пришли к выводу о том, что «гибкий график приводит к значительному снижению общего неоплачиваемого времени отсутствия служащих на работе».

Поведение на работе определяется сложным взаимодействием индивидуальных и ситуативных факторов. Чтобы быть уверенными в том, что они постигли всю сложность этого поведения, индустриально-организационные психологи проводят тщательную верификацию результатов своих исследований.

Если выводы, полученные Ким и Кампанья, надежны, то при повторении эксперимента при тех же условиях те же или другие исследователи должны прийти к таким же выводам. Если выводы валидны, то проверка использованных методов, данных наблюдений и анализа этих данных позволит исключить очевидные альтернативные объяснения снижения уровня абсентеизма при гибком графике. Среди возможных альтернативных объяснений результатов этого исследования находятся проблемы статистического характера, использование необъективных оценок абсентеизма и неконтролируемые релевантные различия между испытуемыми, за которыми наблюдали в условиях гибкого графика, и испытуемыми, за которыми наблюдали в условиях обычного графика работы. Наконец, если выводы этих исследователей о характере связи между гибким графиком и абсентеизмом допускают возможность генерализации, то из аналогичных исследований в других организациях с использованием других испытуемых будут получены такие же выводы.

Некоторые аспекты верификации выводов, сделанных в исследовании из данных наблюдений, можно оценить путем тщательного изучения плана исследования, организации проведения исследования и анализа данных. Однако настоящая проверка возможности генерализации основывается на проведении дальнейших исследований аналогичного характера, но с использованием других испытуемых — то есть на репликации. Такая репликация с изменением плана исследования или без него является важным способом повышения уверенности ученых в правильности любых научных результатов.

Стандарты для оценки выводов, сделанных из данных наблюдений, должны способствовать более строгому соблюдению общепринятых правил использования в исследованиях известных и понятных аналитических процедур. Без таких стандартов не было бы основы для согласования представлений о надежности, валидности и возможности генерализации выводов. Каждый исследователь мог бы вносить в процесс исследования свои собственные индивидуальные методы и искажения, и отсутствовала бы база для объединения этих индивидуальных усилий с целью построения надежного здания научных знаний.