Валидность тестирования

Валидность (происходит от англ. valid - имеющий силу) теста - психометрическая характеристика, представляющая собой действительную способность теста измерять тот психологический конструкт, для диагностики которого он заявлен [Гильбух Ю.З., 1978, № 5. С.108-117; Гильбух Ю.З., 1982, № 1. С. 29-39; Гильбух Ю.З., № 4, т. 8. С. 117-125]. Валидность теста определяет, что должен измерять тест по предположению разработчиков и в какой степени хорошо он это делает.

Чаще всего для определения валидности личностного опросника требуется внешний критерий, использующийся независимо от самого опросника, для оценки того психологического качества, которое должно измеряться. Среди них выделяют объективные и субъективные критерии.

В качестве объективных критериев валидизации обычно используются:

· объективные социально-демографические и биографические данные (стаж, образование, профессия, прием или увольнение с работы);

· показатели успеваемости, чаще всего являющиеся внешним критерием для тестов способностей к обучению, достижений в отдельных дисциплинах, тестов интеллекта;

· производственные показатели эффективности отдельных видов профессиональной деятельности, выступающие внешним критерием при валидизации методик, используемых в профотборе и профориентации;

· результаты реальной деятельности (рисование, моделирование, музыка, составление рассказа и т.д.), используемые обычно при конструировании тестов общих и специальных способностей, личностных тестов;

· врачебный диагноз или другие заключения специалиста;

· контрольные испытания знаний и умений;

· данные других методик и тестов, валидность которых считается установленной.

К субъективным критериям относятся оценки, суждения, заключения об объекте исследования, сделанные экспертом (специалистом, педагогом, руководителем, психологом). При этом эксперт дает заключение по стандартизированной оценочной шкале, предложенной ему разработчиками теста. Объективность достигается за счет увеличения числа экспертов и соблюдения единообразия ситуаций оценивания.

При использовании экспертной оценки используют:

❑ метод коллективной оценки, когда достигается единство во мнениях всех экспертов относительно испытуемого, подвергаемого исследованию;

❑ метод средневзвешенной оценки, когда усредняются оценки, данные испытуемому независимыми экспертами;

❑ метод ранжирования, когда испытуемые распределяются по степени выраженности у них того или иного свойства;

❑ метод парного сравнения, когда испытуемые попарно сравниваются по степени выраженности свойства.

В качестве средства определения меры валидности чаще всего используют корреляционный анализ связи между индивидуальными оценками по тесту и оценками по критерию валидизации.

Надо иметь в виду, что сама процедура валидизации имеет принципиальные ограничения:

· условия валидности теста невозможно определить полностью, всегда остается множество неучтенных факторов;

· трудно обеспечить репрезентативность выборки;

· логика валидизации предполагает валидность самого критерия, но проверка этого оказывается достаточно сложной и часто осуществляется по наиболее доступному критерию.

Кроме того, критериальная валидность определяется, как правило, по внешним для психолога критериям, прежде всего социально-прагматическим (производительность, успеваемость, состояние здоровья, преступность и пр.). Всегда есть вероятность, что причиной отсутствия связи между методикой и критерием оказывается не низкая валидность методики (тестовый балл не отражает, например, стрессоустойчивость оператора), а исходное предположение, что должна быть подобная связь (например, предположение, что есть связь между стрессоустойчивостью оператора и процентом аварийных ситуаций).

Виды валидности. Выделяют следующие виды валидности:

· очевидную валидность;

· содержательную валидность;

· валидность по критерию (или эмпирическую, критериальную валидность);

· понятийную валидность (конструктивную, или конструктную валидность);

· прогностическую валидность и др.

Очевидная валидность. Очевидная валидность не является в собственном смысле психометрическим показателем теста, она характеризует лишь впечатление о тесте, как о чем-то понятном, «прозрачном». Это - способность теста не провоцировать со стороны испытуемого отвержения из-за непонятности процедуры тестирования. Если о тесте складывается впечатление (особенно с точки зрения испытуемого), что он измеряет именно то, что заявлено в инструкции и это действительно соответствует его содержанию, то такой тест обладает очевидной валидностью. Так, многие личностные опросники имеют в своем заголовке указание именно на те психологические особенности, которые они измеряют («Опросник переработки стресса», «Опросник психосоматических установок», «Опросник социальной компетентности» и т.д.).

Содержательная валидность. Содержательная валидность свойственна тестам, которые полноценно моделируют ту или иную деятельность, прежде всего в ее предметном аспекте. Т.е. в самом содержании теста отражены ключевые стороны изучаемого психологического явления. Если это явление сложно, то в тесте должны быть представлены все его составляющие элементы. Валидность по содержанию, определяемая путем систематического контроля содержания, должна показывать, насколько полно охватывает тест представленную выборку по совокупности измеряемых параметров. Поэтому необходима эмпирическая проверка теста в соответствии с заложенными в него гипотезами.

Содержательная валидность относится прежде всего к тестам достижения, а для тестов способностей и тестов личности этот тип валидности неадекватен и не применяется. Так, личностные опросники не имеют внутреннего сходства с исследуемыми областями поведения (т.е. ситуация самого ответа на пункт опросника обычно не есть ситуация, о которой идет речь в опроснике).

Критериальная валидность. Критериальная валидность определяется с единственной, крайне важной для практики, целью: оценить индивидуальную прогностичность теста. Для этого результаты выполнения теста сопоставляются с непосредственными и независимыми оценками (критериальными ключевыми признаками) того, что должен предсказывать тест.

Процедура обеспечения критериальной валидности заключается в том, что задания для шкал отбираются только тогда, когда они могут отделить релевантные, т.е. собственно критериальные, группы от контрольных. Для тестов такого типа основную роль играет их дискриминативность: важен сам факт, что тест или отдельное его задание является дискриминативным, а не причина, по которой это происходит.

Правда, в случае, когда группы отличаются друг от друга только по одной переменной, причина такой дифференциации более видна. Но, как правило, критериальная валидность используется в случае множества содержательно мало учитываемых признаков.

Часто задания, отобранные на основании того, что они могут разделять группы, вполне могут измерять и целый набор разных других переменных. Любая шкала, построенная таким образом, не будет однородной, т.е. показатели внутренней согласованности могут быть низкими.