Стандартизация теста

Одним из важных отличий психометрических тестов является то, что они стандартизированы, а это позволяет сравнить показатели, полученные одним испытуемым, с таковыми в генеральной совокупности или соответствующих группах

168 Глава 3. Психометрические основы психодиагностики: основные этапы...

Тем самым достигается адекватная интерпретация показателя отдельного испытуемого. Таким образом, стандартизация теста наиболее важна в тех случаях, когда осуществляется сравнение показателей обследуемых. При этом вводится понятие нормы, или нормативных показателей. Для получения стандартных норм нужно тщательно отобрать большее количество испытуемых в соответствии с ясно обозначенным критерием. При формировании выборки стандартизации следует учитывать ее объем и репрезентативность. В руководствах по тестам чаще всего указывается на то, что для простого уменьшения стандартной погрешности достаточной будет выборка из 500 испытуемых. Однако репрезентативность выборки не зависит от ее объема. Например, для того чтобы получить нормативные показатели для всей популяции детей, обучающихся в начальной школе, потребуется выборка объемом более 10 тысяч, тогда как выборка из такой ограниченной популяции, как шеф-пилоты авиакомпаний, не может быть столь значительной. Репрезентативность выборки, таким образом, параметр более важный, нежели ее объем. В некоторых случаях приходится формировать несколько групп стандартизации или стратифицировать группу стандартизации относительно таких параметров, как возраст, пол, социальный статус. Устанавливать нормы не всегда обязательно. При использовании психологических тестов в научном исследовании нормы не столь важны и достаточно «сырых» показателей теста.

Нормы для каждой группы должны быть представлены в средних величинах и показателе стандартного отклонения. Расчет средней величины элементарен и хорошо известен, а стандартное отклонение определяется с помощью формулы, имеющей вид:

я(я-1)

где SD — стандартное отклонение; X² — результат всего опросника всех испытуемых; п — количество испытуемых; 2 — сумма.

Сегодня на практике все больше используется такой тип производной оценки, как стандартные показатели, удовлетворяющий большинству требований, предъявляемых к психологическому измерению. Такие показатели выражают отличие индивидуального результата испытуемого от среднего в единицах стандартного отклонения соответствующего распределения. Стандартные показатели получают двумя путями: линейным и нелинейным преобразованием первичных («сырых») оценок. В случае линейного преобразования сохраняются все свойства исходного распределения «сырых» оценок, и такие показатели называются стандартными или г-показателями. Для вычисления г-показателя находят разность между первичной оценкой и средним для нормативной группы и делят ее на стандартное отклонение нормативной группы. Формула имеет вид:

Здесь необходимо сказать о том, что основной причиной преобразования первичных оценок в некоторую производную шкалу является желание получить показатели, которые сопоставимы между собой вне зависимости от того, по какому

3.9. Стандартизация теста

сту они получены. Линейное преобразование позволяет получить показателе |опоставимые лишь в том случае, когда распределения «сырых» оценок, по кото 5ым они рассчитываются, имеют примерно одинаковую форму. Для того чтобь сопоставлять показатели, полученные на основе распределений разной формы прибегают к нелинейному преобразованию, или к нормализованным стандарт ным показателям.Процедура нелинейного преобразования достаточно проста i описана в многочисленных руководствах по математической статистике. Такж показатели обычно рассчитывают с помощью таблиц. В этих таблицах приводится процент случаев, приходящихся на участки, которые отстоят от среднего нор мальной кривой на некоторое число единиц стандартного отклонения. Сначал; определяют процент лиц, чьи показатели превышают каждую «сырую» оценку а затем по этому проценту в таблице отыскивают соответствующее значение нор мализованного стандартного показателя. Эти показатели, как и линейно преоб разованные, будут иметь среднее (X), равное 0, и стандартное отклонение (5D) равное 1. Нулевое значение показывает, что испытуемый попадает в точку, соот ветствующую среднему нормальной кривой, превосходя 50 % группы. В случае если показатель равен —1, испытуемый превосходит примерно 16 % группы, а ее ли +1 — превосходит 84 % группы. Нормализованным стандартным показателя!^ можно придать любую удобную форму, например, умножив его на 10 и прибави произведение к 50, получаем так называемый «Г-показатель» и в этом случае 7 равное 50, соответствует среднему, равному 60 — превышает среднее на одно стан дартное отклонение и т. д. С другими, не менее популярными нелинейными пре образованиями «сырых» показателей теста, можно ознакомиться в соответствую щей литературе¹.

Созданием стандартизованного теста и его публикацией обычно завершаете работа психолога, однако следует помнить и о том, что с течением времени не обходим пересмотр(ревизия) теста. Достаточно вспомнить о тестах интеллект; (см. гл. 4), нормы по которым устаревают через каждые 5 лет, и можно предполо жить, что процесс их старения будет ускоряться. Для наглядности этапы конст руирования теста представлены на рис. 3.1.

Пример из практики: определение надежности опросника 16 PFKerrejiJiaЛичностный опросник Раймонда Кеттелла 16 PF(16 личностных факторов) от носится к наиболее распространённым психодиагностическим инструментам и hi нуждается в специальном представлении. Уже без малого 50 лет психологи всеп мира используют его для решения разнообразных прикладных и научных задач Однако как в бывшем СССР, так и ныне во вновь образованных странах это-опросник, несмотря на достаточно большую популярность, используется непро фессионально, с нарушением всех норм и правил, предъявляемых к психологиче ским тестам.

Кроме различных переводов опросника, которые существенно отличаюто один от другого, в русскоязычной литературе часто встречаются и различны!

¹ См., напр., БурлачукЛ, Ф., Морозов С. М. Словарь-справочник по психодиагностике. — СПб.: Питер 1999, а также Гласе Дж., Стэнли Дж. Статистические методы в педагогике и психологии / Пер с англ. — М.: Прогресс, 1976.

170 Глава 3. Психометрические основы психодиагностики: основные этапы.

Определение теста и выбор метода шкалирования

Генерирование заданий для теста

Дотестовые задания

Конструирование шкалы

Пилотажное тестирование

Стандартизация теста

Сбор нормативных показателей

Пересмотры теста с течением времени

Рис.3.1. Этапы конструирования теста

•«ключи» к его факторам. Опубликованные в многочисленных сборниках и брошюрах варианты опросника не защищены (!) от ошибок и произвольного вмешательства в его текст. Если добавить к этому отсутствие нормативных данных, а также то, что не проводилась проверка гомогенности шкал опросника на отечественных выборках, то непонятно, какого рода результаты получали его многочисленные пользователи, какими диагностическими заключениями они оперировали. За последние пятнадцать лет у нас появились только три (!) работы, в которых ставилась задача проверки факторной структуры 16PF на национальных выборках:

3.9. Стандартизация теста 171

это статьи В. М. Русаловаи О. В. Гусевой (1990), Ю. М. Забродина, В. И. Похиль-ко и А. Г. Шмелева (1987), наконец, украинского психолога А. Г. Виноградова (1997). Читателю нетрудно сравнить это количество публикаций с тем множеством работ, в которых опросник использовался для получения «диагностически значимых результатов». Сказанное позволяет сделать вывод о том, что с помощь» опросника 16Р7⁷измеряется нечто, имеющее неясное отношение к факторам личности, выделенным и описанным Кеттеллом.

Занимаясь работой по психометрической адаптации личностных опросников¹, мы не могли обойти вниманием и столь широко распространенный, как 16PF. За основу была взята форма «А» опросника 16PF. Были обследованы 227 человек (135 женщин и 92 мужчины) в возрасте от 16 до 51 года. Средний возраст исследуемых составлял 28 лет. Это были люди, которые проходили отбор на различные должности в коммерческие организации Киева, все они имели высшее или среднее специальное образование (бухгалтеры, коммерческие директоры, менеджеры разного уровня).

Как известно, точность измерения с помощью психодиагностического инструмента определяется его надежностью. С целью выяснить, насколько точен прогноз, даваемый психологом на основании результатов 16PF, данные, первоначально полученные нами, были оценены по авторским ключам на внутреннюю согласованность с помощью коэффициента Кронбаха, вычисляемого по следующей формуле:

ос = -

г-\

1--

S

X

\ /

где а — коэффициент Кронбаха; г — количество заданий теста; S ? — дисперсия по ;'-му пункту теста; 5, — дисперсия суммарных баллов по всему тесту.

В табл. 3.6 содержатся данные о внутренней согласованности факторов личности, полученные по авторским «ключам» (приведено буквенное обозначение фактора). Как видно из таблицы, значение коэффициента Кронбаха неудовлетворительно для большинства факторов. А фактор N вообще измеряет нечто, не имеющее никакого отношения к проницательности, расчетливости и наивности (если употреблять обыденное название этого фактора). Лишь некоторые из факторов, например фактор /-"(сургенция—десургенция) и фактор Я пармия—тректия (смелость—робость), надежно измеряют то, что должны измерять. Таким образом, в результате проверки надежности—согласованности оригинальных ключей было показано, что ряд шкал опросника негомогенны. Можно предположить, что это следствия искажения смысла заданий при переводе на русский язык и/или существования известных культурных различий.

Для того чтобы выявить, что же именно стоит за данными, получаемыми с помощью 16PF, мы использовали факторный анализ. Факторы извлекались методом

¹ Автор выражает свою признательность за участие в этой работе своему бывшему аспиранту Виталик Духневичу.

172 Глава 3. Психометрические основы психодиагностики: основные этапы..

Таблица 3.6