Оценки сослуживцев и руководителей

Оценки сослуживцев, часто подразумевающие неформальные дружеские отношения, до недавнего времени пользовались недоверием в организациях, хотя издавна были очень популярны в армии. В настоящее время ситуация изменилась. В большинстве случаев оценки сослуживцев получают во время трех-четырех недельных программ группового обучения, затем соотносят (коррелируют) их с последующими показателями менеджерской деятельности или производительности, например, объемом продаж. Этот метод полезен в определении резерва управленческого персонала из числа лиц, участвующих в обучении, поскольку дает хорошие прогнозы менеджерской деятельности[592].

Некоторые исследователи обнаружили, что оценки сослуживцев являются надежными предикторами успешности коммерческой деятельности[593].

Основное содержание метода сводится к тому, что каждого просят дать оценку всем другим членам группы по какой-либо определенной характеристике (например, «может стать успешным менеджером»). Существуют три варианта метода. Первый вариант — «ранжирование сослуживцев» состоит в том, что каждый ранжирует своих коллег от «лучшего» до «худшего» по заданной характеристике. Средний ранг, полученный каждым, используется затем как индивидуальный показатель. Во втором варианте — «выдвижении сослуживцами» каждый «выдвигает» определенное количество сослуживцев (например, пять) как «лучших» по какой-либо из оценочных характеристик. Этот вариант психологически более комфортен и не вызывает заявлений членов группы, что их заставляют «резать горло» другу. В третьей модификации — «оценке сослуживцев» — каждый оценивает всех других членов группы по заданным поведенческим или деятельностным характеристикам с помощью многобалльной шкалы.

Каждый из рассмотренных вариантов обладает своими преимуществами и ограничениями[594]. Ранжирование сослуживцами хотя и нуждается в дополнительных исследованиях надежности и валидности, является, вероятно, наилучшим методов дифференциации по всему диапазону уровней деятельности (т.е. от лучших работников к худшим). Сильная сторона метода «выдвижения сослуживцами» состоит в возможности выделить лучших и в этом смысле является хорошим инструментом для выявления управленческого резерва в рамках рабочей группы. Явным ограничением этого метода является отсутствие достаточной обратной связи: он не дает сравнительной количественной информации о «выдвинутых» и вообще никакой информации о тех, кто не попал в их число. И, наконец, «оценка сослуживцев», наоборот, полезна обратной связью, так как каждый член группы получает оценки по различным характеристикам своей деятельности и поведения, однако метод обладает невысокой надежностью и валидностью из-за предвзятости или привязанностей в отношениях между членами группы.

Многие данные убедительно показывают, что оценки сослуживцев значительно отличаются от оценок руководителей. Это неудивительно хотя бы потому, что сослуживцы и руководители видят поведение оцениваемого с разных позиций и судят на основании разных критериев. Кроме того, отмечено, что такие экстраорганизационные факторы, как внешняя привлекательность, приветливость, приятельские и дружеские отношения и т. д. в значительно большей степени искажают оценки сослуживцев, чем руководителей[595].

Как это можно учесть в профессиональном отборе и подборе в организации? Как показывают результаты исследований, наибольшей эффективности кадровых решений можно достичь путем обобщения оценок из различных источников — руководителей, сослуживцев, клиентов организации и самооценок рассматриваемых кандидатов[596]. Использование различных оценщиков снижает субъективизм суждений и в то же время сохраняет те преимущества, которыми обладает каждый метод[597].

Тестирование

Существуют определенные требования, которым соответствуют научно обоснованные психологические тесты: стандартизация, нормы, надежность и валидность. Именно эти характеристики должны прежде всего приниматься во внимание пользователями тестов. Эти факторы отличают настоящий психологический тест от пародий на тесты, часто публикуемых в популярных журналах («Счастливы ли вы в браке?» или «Пользуетесь ли вы успехом у поклонников?»). Следует отметить, что не все, даже широко известные, тесты полностью соответствуют указанным требованиям. Тем не менее существуют эталоны, к которым должны стремиться все тесты, используемые для отбора персонала.

Стандартизация. Под стандартизацией подразумевается единообразие предъявления и обработки теста. Если необходимо сравнить результаты тестирования нескольких аппликантов, то, разумеется, необходимо предусмотреть, чтобы условия тестирования были идентичными для всех. В противном случае любое изменение условий тестирования может поставить одних в невыгодное положение по сравнению с другими. С целью достижения единообразия создатели тестов указывают в руководствах точные процедуры тестирования, касающиеся временных ограничений, устных инструкций, ответов тестируемых на специфические вопросы, форм и бланков, необходимых для прохождения теста, физических условий (например, сидя за столом, условий освещения и т. д.), а также процедуры обработки результатов.

Нормы. Если известно, что аппликант правильно решил 60 из 100 пунктов теста на механические (reasoning) взаимодействия, эта информация не говорит ничего конкретного о его успешности по сравнению с другими кандидатами.

Для того, чтобы интерпретировать эти данные, их надо сравнить с результатами, показанными группой других аппликантов. Такое сравнение становится возможным при наличии тестовых норм. Фактически нормы — это распределение тестовых результатов, полученных на большой выборке лиц, представляющих популяцию аппликантов, которые могут рассматриваться как потенциальные работники на данном рабочем месте или по данной специальности. Распределение такой референтной группы служит системой отсчета для сравнения результатов, показанных аппликантами. Совпадают ли результаты аппликанта со средними показателями группы или они значительно выше (ниже) средней величины? Аппликант, чьи результаты на 2 стандартных отклонения превышают среднюю, имеет лучшие показатели, чем 97,8 % референтной группы.

Подробное руководство по оценке психологических тестов было опубликовано Американской психологической ассоциацией под названием «Стандарты для образовательных и психологических тестов»[598]. Эти стандарты основаны на информации о валидности, надежности, нормах и других тестовых характеристиках, которые должны быть отражены в руководствах по использованию тестов. Наиболее важными стандартами для тестовых норм являются следующие:

1. Нормы должны быть опубликованы в руководстве по использованию теста к моменту его опубликования для практического использования. (Фактически большинство публикуемых тестов не имеют норм, в лучшем случае авторы обещают опубликовать их в ближайшем будущем.)

2. Нормы, прилагаемые к руководству по использованию теста, должны иметь точную и подробную информацию об использованных выборках. Этими выборками должны в идеале быть те группы аппликантов, с которыми планирует работать пользователь теста,

3. Описание групповых норм должно быть достаточно полным, чтобы пользователь мог без труда соотнести с ними характеристики своей выборки. Такое описание должно также включать возрастные, половые и образовательные характеристики.

4. Количество случаев, на основании которых получены нормы, должно быть точно указано в руководстве. Если количество случаев мало или нерепрезентативно, пользователь должен быть очень осторожным в интерпретации полученных данных, в частности, оценивая возможную величину ошибки измерения.

5. Руководство по использованию теста должно иметь указания на групповые различия, обусловленные возрастом, полом, степенью подготовленности и другими важными с профессиональной точки зрения переменными.

Надежность. Важной характеристикой теста является его надежность, т. е. способность давать консистентные/непротиворечивые результаты при повторных использованиях. Весы были бы совершенно бесполезны, если бы каждое утро они показывали разный вес, вызывая искреннее недоумение: худею или набираю вес? Аналогичным образом и психологический тест принесет мало пользы, если он при последующем использовании показывает противоречивые результаты. Принимая кадровые решения, менеджер должен быть уверен, что если аппликант А при психологическом тестировании показал значительно лучший результат, чем аппликант В, эта разница сохранится и при повторном тестировании, скажем, двумя неделями позже. Если при одной и той же процедуре тестирования одни и те же аппликанты показывают противоречивые результаты, то такая процедура не представляет большой ценности для отбора персонала.

Разумеется, как бы ни были сходны условия проведения тестирования, никакой тест не является идеально надежным. На результаты тестирования всегда оказывают влияние как состояние тестируемых (например, биоритмы, усталость, стресс и т. д.), так и даже незначительные изменения в условиях проведения тестирования (шумы, освещенность, погода и т. д.). Таким образом, перед тем, как использовать тест для отбора персонала, необходимо убедиться в его надежности.

Существует целый ряд методов определения надежности теста. Рассмотрим несколько из них.

Тест-ретест метод. Этот метод предполагает двойное предъявление одного и того же теста одинаковой выборке тестируемых и последующую корреляцию двух распределений. Чем ближе к +1,00 значение полученной корреляции, тем более стабильны показатели теста и больше его надежность. Разумеется, очень важно, чтобы в руководстве по использованию теста был указан временной интервал между двумя предъявлениями, так как чем больше времени между предъявлениями, тем обычно ниже надежность теста. Однако из-за эффектов практики и запоминания, которые при повторном предъявлении могут оказывать влияние на результаты тестирования, данный метод проверки надежности теста не рекомендуется для некоторых видов тестов (например, тесты на скорость восприятия, память, моторную координацию и т. д.)[599].

В методе эквивалентных форм используется тот же подход, что и в методе тест-ретест, однако здесь во второй раз предъявляется не та же, а эквивалентная форма теста, т. е., сходная по всем содержательным характеристикам, но различная по форме и количеству вопросов/заданий. Эквивалентными, например, являются полная и краткая формы опросника MMPI. Главное достоинство этого метода — устранение проблем, связанных с эффектами запоминания и научения. В то же время недостатком выступает необходимость разработки эквивалентной формы, требующая дополнительных расходов.

Так называемый метод «двух половинок» («split-halves method») связан не столько с временной стабильностью теста, сколько с определением его внутренней консистентности. Для определения надежности с помощью этого метода результаты тестирования искусственно разделяются на два распределения: одно образуется четными вопросами/ заданиями теста, другое нечетными. Затем, определив, в какой мере данные обоих распределений коррелируют между собой, подставляют полученный коэффициент корреляции в формулу Спирмена-Брауна (Spearmen-Brown). Этот метод, пожалуй, наиболее популярен благодаря своей экономичности как с точки зрения времени, так и затрат.

Надежность теста, используемого для профессионального отбора или подбора, должна быть в диапазоне +0,80 — +0,90. Указания на величину корреляции в руководстве по использованию теста должны сопровождаться информацией о примененном методе определения надежности.

Валидность. В широком смысле валидность свидетельствует о степени соответствия/идентичности измеряемой тестом характеристики самой характеристике. Например, если индивид имеет высокие показатели по интеллектуальному тесту, то этот тест будет считаться валидным только в том случае, если его результаты не противоречат другим проявлениям развитого интеллекта (высоким показателям в учебе, выработке оптимальных решений в трудовой деятельности и т. д.). Если же такой корреляции не будет, а обладатель высокого IQ будет удивлять окружающих своей глупостью, станет очевидно, что тест лишен валидности и, по всей видимости, измеряет вовсе не интеллект, а что-то иное.

Существует несколько видов валидности. С точки зрения задач отбора и подбора персонала наибольший интерес и важность представляют критериальная и содержательная валидность.

Критериальная валидность определяется степенью соответствия (корреляции) тестовых показателей индивида имеющимся показателям его профессиональной деятельности. Так, например, для проверки валидности теста на склонность к работе торговым агентом необходимо предъявить его выборке работников соответствующей профессии и, если высокие показатели теста будут иметь значимую положительную корреляцию с показателями продаж тестируемых за последние три года, тест вполне будет пригоден для найма новых работников в отдел сбыта. Различают два типа критериальной валидности: прогностическая валидность и одновременная валидность. Первая из них является наиболее убедительной для целей отбора, поскольку она непосредственно оценивает способность теста прогнозировать последующую деятельность тестируемого. Для оценки прогностической валидности результаты тестирования аппликанта перед наймом сравниваются с критериями его профессиональной деятельности впоследствии (например, через год с момента найма). Одновременная валидность определяется предъявлением теста уже работающим работникам и корреляцией тестовых данных с критериями их профессиональной успешности. «Стандарты для образовательных и психологических тестов» (Standards for Educational and Psychological Tests) предусматривают следующие рекомендации, полезные для использования тестов в задачах отбора и подбора персонала:

1. Руководство по использованию теста должно иметь информацию о валидности теста по каждому критерию, в отношении которого дается рекомендация.

2. Для каждого прогноза в руководстве по использованию теста должны сообщаться корреляции между тестовыми показателями и объективными критериями с указанием специфики профессии, организаций и ситуации.

3. В руководстве по использованию теста должен сообщаться интервал между временем предъявления теста и временем сбора критериальных данных.

4. Если тест рекомендован для долговременного прогноза, но имеется информация лишь о его одновременной валидности, в руководстве по использованию теста должно быть указана недостаточная обоснованность такого прогноза.

5. Критериальные данные должны быть независимы от тестовых показателей. Руководство по использованию теста должно сообщать о том, какие шаги были предприняты для того, чтобы избежать возможной подгонки критериальных данных и предупредить о ее недопустимости.

6. Руководство по использованию теста должно иметь информацию о выборке, на основании которой тест был валидизирован, с указанием возрастных, половых и образовательных характеристик и социально-экономического статуса.

7. Валидизация теста должна проводиться на выборке, имеющей те же возрастные, образовательные или профессиональные характеристики, что и лица, для которых тест рекомендуется использовать.

8. Если имеется дополнительная информация, которая может иметь ценность для критериальной валидности теста, руководство по использованию теста должно предоставить эту информацию с указанием ее корреляций с тестовыми и критериальными данными[600].

Содержательная валидность обычно используется для валидизации тестов достижения. Она включает систематический анализ содержания теста на предмет его адекватности измеряемым навыкам, знаниям и способностям, необходимым в конкретной профессии. Определяется такая валидность на основании суждений экспертов (например, руководства, инженерно-технического персонала и т. д.) о соответствии содержания теста содержанию конкретной профессиональной деятельности. Так, например, экспертам может быть независимо предложено оценить тестовые вопросы/задания на предмет их важности (бесполезности) для конкретной профессиональной деятельности[601]. Рекомендуется, чтобы тесты для отбора и подбора персонала в организации обладали как содержательной, так и критериальной валидностью.