Определение стабильности изучаемого признака.

Определить на­дежность самой методики — это не значит решить все вопросы, связан­ные с ее применением. Нужно еще установить, насколько устойчив, стабилен признак, который исследователь намерен измерять. Было бы методологической ошибкой рассчитывать на абсолютную стабильность психологических признаков. В том, что измеряемый признак со вре­менем меняется, нет ничего опасного для надежности. Все дело в том, в каких пределах варьируются результаты от опыта к опыту у одного и того же испытуемого, не приводят ли эти колебания к тому, что ис­пытуемый по непонятным причинам оказывается то в начале, то в се­редине, то в конце выборки. Сделать какие-то конкретные выводы об уровне представленности измеряемого признака у такого испытуемо­го нельзя. Таким образом, колебания признака не должны иметь не­предсказуемый характер. Если не ясны причины, по которым проис­ходит резкое колебание, то такой признак не может быть использован в диагностических целях.

Для проверки стабильности диагностируемого признака, свойства используется прием, известный под названием тест-ретпест. Он за­ключается в повторном обследовании испытуемых с помощью той же методики. О стабильности признака судят по коэффициенту корреля­ции между результатами первого и второго обследований. Он будет свидетельствовать о сохранении или несохранении каждым испыту­емым своего порядкового номера в выборке.

На степень устойчивости, стабильности диагностируемого свойства влияют разнообразные факторы. Число их достаточно велико. Выше уже говорилось о том, как важно соблюдать требования единообразия процедуры проведения эксперимента. Так, например, если первое тес­тирование проводилось в утренние часы, то и повторное должно быть проведено утром; если первый опыт сопровождался предварительным показом заданий, то и при повторном испытании это условие также должно быть соблюдено и т. д.

При определении стабильности признака большое значение имеет промежуток времени между первым и вторым обследованиями. Чем ко­роче срок от первого до второго испытания, тем (при прочих равных условиях) больше шансов, что диагностируемый признак сохранит уровень первого испытания. С увеличением временного интервала стабильность признака имеет тенденцию снижаться, так как возраста­ет число посторонних факторов, влияющих на нее. Следовательно, напрашивается вывод о том, что целесообразно проводить повторное тестирование через короткий срок после первого. Однако тут есть свои сложности: если срок между первым и вторым опытами небольшой, то некоторые испытуемые могут воспроизвести свои прежние ответы по памяти и таким образом отойдут от смысла выполнения заданий. В этом случае результаты двух предъявлений методики уже нельзя рассмат­ривать как независимые.

Трудно четко ответить на вопрос, какой срок можно считать опти­мальным для повторного эксперимента. Только исследователь, исходя из психологической сущности методики, условий, в которых она про­водится, особенностей выборки испытуемых, должен определить этот срок. При этом такой выбор должен быть научно обоснован. В тестологической литературе наиболее часто называются временные интер­валы в несколько месяцев (но не более полугода). При обследовании детей младшего возраста, когда возрастные изменения и развитие про­исходят очень быстро, эти интервалы могут быть порядка нескольких недель.

Важно помнить, что коэффициент стабильности не следует рассмат­ривать только с его узко формальной стороны, по его абсолютным значениям. Если методика исследует свойство, которое в период диагностирования находится в процессе интенсивного развития (на­пример, умение проводить обобщения), то коэффициент стабильности может оказаться невысоким, но это не следует истолковывать как недостаток методики. Такой коэффициент стабильности должен интерпре­тироваться как показатель определенных изменений, развития исследу­емого свойства. В этом случае, например, К. М. Гуревич рекомендует рассмотреть по частям ту выборку, на которой устанавливался коэффи­циент стабильности. При таком рассмотрении выделится часть ис­пытуемых, проходящих путь развития в одинаково ровном темпе; дру­гая часть — где развитие шло особенно быстрыми темпами; и часть выборки, где развитие у испытуемых практически совсем нельзя за­метить. Каждая часть выборки заслуживает специального анализа и ис­толкования. Следовательно, недостаточно просто констатировать, что коэффициент стабильности низкий, нужно понять, от чего это зависит.

Совсем другое требование предъявляется к коэффициенту ста­бильности, если автор методики считает, что измеряемое свойство уже сформировано и должно быть достаточно устойчивым. Коэффи­циент стабильности в этом случае должен быть достаточно высоким (не ниже 0,8).

Таким образом, вопрос о стабильности измеряемого свойства реша­ется не всегда однозначно. Решение зависит от сущности самого диа­гностируемого свойства.

Определение константности, т. е. относительной независимости ре­зультатов от личности экспериментатора. Поскольку методика, разра­ботанная для диагностических целей, не предназначена для того, что­бы вечно оставаться в руках своих создателей, крайне важно знать, в какой мере ее результаты поддаются влиянию личности эксперимен­татора. Хотя диагностическая методика всегда снабжается подробными инструкциями по ее применению, правилами и примерами, указыва­ющими, как проводить эксперимент, однако регламентировать манеру поведения экспериментатора, скорость его речи, тон голоса, паузы, вы­ражение лица очень трудно. Испытуемый в своем отношении к опыту всегда отразит то, как сам экспериментатор к этому опыту относится (допускает небрежность или действует точно в соответствии с требо­ваниями процедуры, проявляет требовательность, настойчивость или бесконтрольность и т. п.).

Хотя в тестологической практике критерием константности пользуют­ся нечасто, однако, по мнению К. М. Гуревича, это не может служить основанием для его недооценки. Если у авторов методики возникают подозрения по поводу возможного влияния личности эксперимента­тора на исход диагностической процедуры, то целесообразно прове­рить методику по этому критерию. При этом важно иметь в виду сле­дующий момент. Если под воздействием нового экспериментатора все испытуемые в одинаковой степени стали работать немного лучше или немного хуже, то сам по себе этот факт (хотя и заслуживает внима­ния) на надежность методики не окажет влияния. Надежность изме­нится лишь тогда, когда воздействие экспериментатора на испыту­емых различно: одни стали работать лучше, другие хуже, а третьи так же, как и при первом экспериментаторе. Другими словами, если испы­туемые при новом экспериментаторе изменили свои порядковые мес­та в выборке.

Коэффициент константности определяется путем корреляции ре­зультатов двух опытов, проведенных в относительно одинаковых ус­ловиях на одной и той же выборке испытуемых, но разными экспери­ментаторами. Коэффициент корреляции не должен быть ниже 0,8.

Выше были рассмотрены три показателя надежности психодиагности­ческих методик. Может возникнуть вопрос, нужно ли при создании методик осуществлять проверку каждого из них? В профессиональ­ной литературе еще идет дискуссия по этому поводу. Одни исследова­тели считают, что все способы определения надежности в какой-то мере идентичны, и поэтому достаточно проверить надежность мето­дики каким-то одним из них.

Например, автор неоднократно переиздававшейся в США книги по ста­тистике для психологов и педагогов Г. Гэррет не находит принципиаль­ных различий между способами проверки надежности. По его мнению, все эти способы показывают воспроизводимость тестовых показателей. Иногда тот, иногда другой обеспечивают лучший критерий. Другие иссле­дователи придерживаются иной точки зрения. Так, авторы «Стандартных требований к педагогическим и психологическим тестам» в главе «На­дежность» отмечают, что коэффициент надежности — это родовое поня­тие, включающее в себя несколько видов, и каждый вид имеет свой осо­бый смысл. Разделяет эту точку зрения и К. М. Гуревич [44]. По его мнению, когда говорят о разных способах определения надежности, то имеют дело не с лучшей или худшей мерой, а с мерами разной по су­ществу надежности. В самом деле, чего стоит методика, если не ясно, надежна ли она сама по себе как измерительный инструмент или не ус­тановлена стабильность измеряемого свойства? Чего стоит диагнос­тическая методика, если не известно, могут ли изменяться результаты в зависимости от того, кто ведет эксперимент? Каждый в отдельности показатель никак не заменит других способов проверки и, следователь­но, не может рассматриваться в качестве необходимой и достаточной характеристики надежности. Только методика, располагающая полной характеристикой надежности, наиболее пригодна для диагностико-практического применения.