Достоверность самоотчета.

Внутри проблемы валидности целесообразно выделить вопрос об обеспечении валидности процедур стандартизованного самоотчета, к которым относятся различные техники шкалирования, классифицирования, сравнения и тест-опросники. Специфические проблемы валидности, связанные с активностью человека как объекта в психодиагностике, целесообразно обозначить особым образом - проблемы обеспечения "достоверности".

Beрбальная форма подачи тестового материала порождает у испытуемого определенные размышления о цели тестирования. Если ситуация (например, экспертиза) диктует испытуемому необходимость фальсификации ответов, то испытуемый редко отказывается от этой возможности.

Психологические факторы, от которых зависит достоверность данных самоотчета, условно можно сгруппировать в следующие классы [15]:

1. Факторы знания. У испытуемого может быть более или менее осознанное представление о следующем:

- свойственно или нет ему в действительности тестируемое поведение (с некоторыми ситуациями, имплицитно подразумеваемыми в вопросе тест-опросника, испытуемый мог на практике никогда не встречаться);

- какое личностное свойство скрывается за тем или иным конкретным поведением, описанным в суждении;

- как это свойство соотносится с общепринятыми моральными нормами и признаками социального успеха.

2. Фактор "социальной желательности".Обозначает тенденцию испытуемого давать о себе социально одобряемую информацию. Сила этой тенденции зависит как от общей внеситуативной установки испытуемого на морализацию "Я-образа" и социальную успешность, так и от того, насколько эту установку актуализирует сама ситуация тестирования (диагностическая ситуация). Однако эта тенденция не будет давать систематического искажения, если испытуемые не смогут разгадать направленность опросника и связать диагностируемое свойство с тем или иным полюсом "социальной желательности".

Таким образом, действие этого фактора до некоторой степени опосредовано действием фактора "знание". Однако при диагностике личностных свойств, тесно связанных с психической "нормальностью" или "социальной успешностью", фактор "социальной желательности ответа" обусловливает очень серьезные искажения.

3. Факторы "индивидуальной тактики". Здесь подразумевается действие "Я-концепции" ("Я" для себя) и "Я-образа" ("Я" для других) на ситуативную тактику испытуемого в момент тестирования. Выполняя тест-опросник, испытуемый всегда находится в невольном диалоге с самим собой и в своих ответах на вопросы раскрывает себя не только для других, но и для себя самого. Испытуемый стремится подтвердить "Я-концепцию" или фальсифицировать определенный "Я-образ" с заданными свойствами.

Как правило, в ситуациях высокого социального риска "Я-образ" полностью доминирует.

Например, преступник при экспертизе стремится, прежде всего, предстать больными или неприспособленным к жизни, хотя в действительности ему было бы приятно думать о себе как о вполне адаптированном здоровом человеке. Точно так же склонные подчеркивать свои трудности и проблемы клиенты, обратившиеся за помощью к психологу-психотерапевту (чтобы вызвать к себе повышенное внимание). В менее регламентированных ситуациях, наоборот, может доминировать мотивация самопознания: в этом случае испытуемый невольно стремится подтвердить с помощью теста свои гипотезы о самом себе.

Заслуживают внимания также особые формы отказа испытуемого от тестирования: позиционный стиль ответа ("соглашательство" или, наоборот, "отрицание"), случайные ответы. Для выявления подобных отказов обычно достаточно довольно простых мер:

- для исключения влияния соглашательства ("отрицания") применяются перечни с "прямыми" (ответ "верно" в пользу измеряемого свойства) и "обратными" (ответ "неверно" в пользу измеряемого свойства) пунктами. Кроме того, производится подсчет баланса "подтверждающих" и "отвергающих" ответов: если баланс резко нарушается, то протокол признается бракованным;

- для выявления случайных ответов в большие перечни вводят вопросы-дубли (синонимические перифразы) или прямые повторы: если испытуемый слишком часто по-разному отвечает на одинаковые вопросы, значит он применяет случайную тактику. Вводят также и крайне редкие утверждения, с которыми испытуемые, как правило, соглашаются только по ошибке.

Более сложные методы требуются для борьбы с социальной желательностью. Рассмотрим три наиболее часто используемых варианта.

1. Введение особых шкал "лжи" в диагностический вариант методики. Они составляются из "вопросов-ловушек": тот или иной ответ на эти вопросы явно предопределен социальной желательностью. Если испытуемый набирает слишком высокий балл по шкале лжи, его протокол бракуется. Более тонкий вариант - введение шкал "коррекции" (например, в MMPI). Получение определенного балла по этим шкалам вызывает внесение поправок к баллу по другим шкалам, скоррелированным со шкалой коррекции. Величина поправок определяется коэффициентом линейной регрессии (измеренным в нормативном эксперименте) между баллами, полученными по шкале коррекции и основной диагностической шкале (шкале свойства).

2. Использование инструкции на преднамеренную фальсификацию результатов для устранения или сбалансирования "социальной желательности". Участникам предварительных замеров кроме обычной инструкции дается (во вторую очередь) дополнительная: "Заполните опросник от лица человека, желающего произвести самое благоприятное впечатление". Затем производится отбор пунктов на основании того, насколько процент ответов на них отличается от 50 процентов (где 50% - величина, ожидаемая для пунктов, являющихся нейтральными с точки зрения "социальной желательности").

В качестве меры желательности в данном случае можно воспользоваться следующим коэффициентом:

где:

N(+) - сумма ответов "верно" на данный пункт при инструкции на фальсификацию;

N(-) - сумма ответов "неверно" в тех же условия;

n - численность испытуемых.

Значимость коэффициента приближенно оценивается по критерию "хи-квадрат" (см. стр. 197). В данном случае в правой части формулы вместо φ подставляется :

N.

Поскольку инструкция на преднамеренную фальсификацию создает условия, в которых социальная желательность суждений акцентируется, то значимыми следует считать такие высокие по модулю значения, при которых расчетное χ² превышает теоретическое (табличное) значение χ² . Такие пункты должны быть либо полностью исключены из опросника (что редко удается), либо число "положительных" и "отрицательных" должно быть уравновешено.

Подобным образом, могут быть отобраны и пункты для шкалы лжи. В качестве критерия разделения испытуемых на шкале лжи выбирается такая точка, которая позволяет минимизировать ошибки типа "пропуск" (зачисление "лживых" испытуемых в число "правдивых") и ошибки типа "ложная тревога" (зачисление "правдивых" в число "лживых"). Положение критической точки на шкале можно менять в зависимости от баланса цены двух типов ошибок: в некоторых случаях "пропуск" гораздо опаснее, чем "ложная тревога" [15].

Фальсифицирующая инструкция используется также и для исследования степени "скрытности-открытости" формулировок вопросов. Например, испытуемым дается инструкция на симуляцию высокой тревожности по опроснику Тейлор. В этом случае, ответы на многие пункты значимо изменяются.

Такие пункты являются слишком открытыми - информируют испытуемого об измеряемом свойстве и позволяют ему вносить тенденциозные искажения в результаты в своих интересах.

3. Стратегия "сбалансирования социальной желательности" стала применяться с распространением факторного анализа. Ставиться цель обеспечить дискриминативную валидность теста относительно шкалы "социальной желательности". Это достигается с помощью факторного анализа корреляций между пунктами. Факторный анализ, в применении к одномерному тест-опроснику, как правило, выделяет два фактора: относящийся к самому измеряемому свойству и относящийся к социальной желательности.

Из перечисленных выше трех методов первый относится к отсеву испытуемых и требует введения в перечень вопросов для шкалы "лжи". Методы 2 и 3 позволяют отобрать только такие пункты, которые обеспечивают устранение социальной желательности. Но они, как правило, трансформируют сам конструкт, который обязательно становится ортогональным (независимым) к социальной желательности.

При необходимости диагностики свойств, обязательно коррелированных с желательностью, единственный метод состоит в применении шкал коррекции и корректирующих поправок, но и этот метод нельзя считать вполне надежным. Так что диагностика свойств, сопряженных с социальной желательностью, в ситуациях экспертизы всегда рискованна.

Однако, в ситуациях, когда сам испытуемый заинтересован в точных результатах ("ситуация клиента"), психодиагност может пользоваться опросниками, не опасаясь артефакта социальной желательности.

При подготовке особенно значимого психодиагностического обследования, в котором надо принципиально исключить всякую возможность преднамеренной фальсификации результатов, следует дополнить критерий оценки достоверности с помощью особой шкалы "лжи" еще одним критерием, основанным на использовании "фальсифицирующей" инструкции" [15]. Для этого после обычной инструкции той же самой пилотажной выборке психолог дает инструкцию: "А теперь снова выполните задание, но старайтесь описать себя так, чтобы выглядеть максимально благоприятно в глазах большинства других людей". В результате применения такой инструкции психолог получает дополнительную таблицу, содержащую фальсифицированные данные.

В таком случае кроме подсчета очень грубого индекса "желательности" ( ) у психолога возникает возможность поэлементного сравнения ответов испытуемых на один и тот же вопрос в обычной и "фальсифицированной" диагностической ситуации. Очевидно, что недостоверным следует считать вопрос, ответы на который будут изменены в "фальсифицированной" ситуации в определенном систематическом направлении.

Здесь может пригодится простейший критерий значимости изменений основанный на распределении "хи-квадрат". Для каждого пункта строится четырех клеточная матрица сопряженности:

"ПОСЛЕ"

+ -

+ A=40 B=36

"ДО" - C=22 Д=48

Здесь в клеточке А указана частота сохранения ответа "верно" на некоторый i-тый вопрос (например, из 76 ответивших "верно" таких оказалось только 40 испытуемых), в клетке В - частота изменения ответа "верно" на ответ "неверно" и т.п. Как видим, в этом примере показано, что смена инструкции привела к значительным изменениям.

Для оценки значимого направления этих изменений используется критерий Макнимара, который предложил сравнивать между собой по критерию хи-квадрат только элементы В и С этой таблички:

где -вычисленное эмпирическое значение статистики хи-квадрат с одной степенью свободы. Для нашего примера = 2,91, что ниже, чем граничное значение χ² = 3,84, и, следовательно, нулевая гипотеза об отсутствии значимых направленных изменений не может быть отвергнута - пункт не является значимо нагруженным артефактным фактором социальной желательности и может быть включен в диагностический вариант тест-опросника без изменений.

По результатам такого исследования удобно составить таблицу Кх2: в первом столбце - показатели корреляции пунктов со шкалой лжи, во втором - показатели значимости изменений при переходе к фальсификации. Безусловно достоверными можно считать только те пункты, которые не получили значимых коэффициентов ни в первом ни во втором столбце.

Если таких пунктов оказывается слишком мало для составления надежной шкалы и если среди недостоверных пунктов достаточно много таких, которые обладают существенной внутренней (корреляция с суммарным баллом по основной шкале) или внешней (корреляция с критерием) валидностью, то следует прибегнуть к тактике балансирования: ввести в основную шкалу поровну "прямых" и "обратных" пунктов по шкале "социальной желательности" так, чтобы все четыре квадранта были заполнены пунктами равномерно (среди "прямых" по основной шкале было бы поровну "прямых" и "обратных" по "желательности", и среди "обратных" по основной - также поровну) [15].

Без указанных предосторожностей тест-опросник неизбежно будет давать систематические искажения результатов всякий раз, когда испытуемый будет квалифицировать диагностическую ситуацию как ситуацию экспертизы.

Другой путь - управление процессами категоризации в ходе самой диагностики. В так называемой "репертуарной модификации" теста-опросника испытуемому специально предлагают выполнять тест не только от своего имени, но и от имени определенного репертуара ролей - "большинство людей", "моральный человек", "преуспевающий человек" и т.п.

Однако применение таких методов требует сложной компьютерной обработки, а, следовательно, не всегда доступны.

Контрольные вопросы для самопроверки: §9.Достоверность теста.

1. Что понимается под достоверностью методики?

2. Какие основные факторы влияют на достоверность данных самоотчета?

3. Какие методы необходимо применить, для того чтобы существенно повысить достоверность методики?

4. Как определить ту критическую точку на "шкале лжи", при которой суммарный балл, набранный испытуемым по этой шкале, позволяет не браковать протокол по всему тесту?

5. В чем суть стратегии "сбалансирования социальной желательности"?

Литература к теме.

1. Анастази А. Психологическое тестирование. В 2-х кн. М., 1982.

2. Бурлачук Л.Ф., Морозов С.М. Словарь-справочник по психодиагностике. - СПб.: Изд-во "Питер", 1999. - 528 с.

3. Общая психодиагностика / Под ред. А. А. Бодалева, В. В. Столина.- М., 1987.

4. Основы психодиагностики / Под ред. А. Г. Шмелева. Ростов-на-Дону., 1996.