Экспертная эмпирическая валидиность. Особое значение имеет эмпирическая валидность, основанная на сравнении итоговых баллов по шкале опросника с оценками испытуемых экспертами.

Эмпирическое значение коэффициента валидности рассчитывается как линейная или ранговая корреляция между двумя рядами значений – тестовыми баллами и суммарными баллами экспертной оценки.

При этом глобальной мерой согласованности оценщиков может служить коэффициент надежности альфа Кронбаха, при помощи которого рассчитывается каждая оценка испытуемого (того или иного его психологического качества), данная экспертами. Если сама групповая оценка не обнаруживает надежности, то она не может использоваться в качестве критерия валидизации при проверке валидности опросника.

Для повышения достоверности экспертной оценки следует:

· описывать поведение в терминах наблюдаемого поведения, а не личностных качеств;

· проводить длительное наблюдение;

· использовать не менее десяти экспертов на одного испытуемого.

Установление адекватного критерия валидности, в действительности, является особой проблемой. Например, при измерении авторитаризма остается полагаться на рейтинги, поскольку нет никаких других внешних критериев (в отличие, например, от школьных экзаменов в случае диагностики способностей).

Но при этом надо иметь в виду, что не все личностные особенности могут быть оценены экспертами. В частности, многие пункты, как показано Р.Б.Кеттелом, хотя образуют определенные факторы, но не могут быть проинтерпретированы по своему содержанию внешними наблюдателями (интервал Q-факторов).

В любом случае, экспертные оценки следует дополнять исследованиями конструктной валидности, обычно основывающимися на анализе разрабатываемого теста по сравнению с другими переменными, а также исследованиями критериальных групп, имеющих по предположению контрольные показатели по рассматриваемой переменной.

Расчет валидности тестирования. Количественно валидность теста может выражаться через корреляции результатов, полученных с его помощью, с другими показателями, например, с прагматическим критерием, в частности, с успешностью выполнения соответствующей деятельности или экспертной оценкой. Соответственно, коэффициент валидности выражает собой согласованность результатов тестовых измерений и критерия. Он рассчитывается как коэффициент корреляции, линейной или ранговой, между двумя рядами значений: тестовыми баллами и баллами экспертной оценки.