Оценки сослуживцев и руководителей

Оценки сослуживцев, часто подразумевающие неформальные дружеские отношения, до недавнего времени пользовались недоверием в организациях, хотя издавна были очень популярны в армии. В настоящее время ситуация изменилась. В большинстве случаев оценки сослуживцев получают во время трех-четырех недельных программ группового обучения, затем соотносят (коррелируют) их с последующими показателями менеджерской деятельности или производительности, например, объемом продаж. Этот метод полезен в определении резерва управленческого персонала из числа лиц, участвующих в обучении, поскольку дает хорошие прогнозы менеджерской деятельности.

Некоторые исследователи обнаружили, что оценки сослуживцев яв­ляются надежными предикторами успешности коммерческой деятельности.

Основное содержание метода сводится к тому, что каждого просят дать оценку всем другим членам группы по какой-либо определенной характеристике (например, «может стать успешным менеджером»). Су­ществуют три варианта метода. Первый вариант — «ранжирование со­служивцев» состоит в том, что каждый ранжирует своих коллег от «луч­шего» до «худшего» по заданной характеристике. Средний ранг, полученный каждым, используется затем как индивидуальный показатель. Во втором варианте — «выдвижении сослуживцами» каждый «выд­вигает» определенное количество сослуживцев (например, пять) как «лучших» по какой-либо из оценочных характеристик. Этот вариант психологически более комфортен и не вызывает заявлений членов группы, что их заставляют «резать горло» другу. В третьей модификации — «оцен­ке сослуживцев» — каждый оценивает всех других членов группы по заданным поведенческим или деятельностным характеристикам с помо­щью многобалльной шкалы.

Каждый из рассмотренных вариантов обладает своими преимуще­ствами и ограничениями. Ранжирование сослуживцами хотя и нуждает­ся в дополнительных исследованиях надежности и валидности, являет­ся, вероятно, наилучшим методом дифференциации по всему диапазону уровней деятельности (т.е. от лучших работников к худшим). Сильная сторона метода «выдвижения сослуживцами» состоит в возможности выделить лучших и в этом смысле является хорошим инструментом для выявления управленческого резерва в рамках рабочей группы. Явным ограничением этого метода является отсутствие достаточной обрат­ной связи: он не дает сравнительной количественной информации о «выд­винутых» и вообще никакой информации о тех, кто не попал в их число. И, наконец, «оценка сослуживцев», наоборот, полезна обратной связью, так как каждый член группы получает оценки по различным характеристикам своей деятельности и поведения, однако метод обладает невысо­кой надежностью и валидностью из-за предвзятости или привязанностей в отношениях между членами группы.

Многие данные убедительно показывают, что оценки сослуживцев значительно отличаются от оценок руководителей. Это неудивительно хотя бы потому, что сослуживцы и руководители видят поведение оце­ниваемого с разных позиций и судят на основании разных критериев. Кроме того, отмечено, что такие экстраорганизационные факторы, как внешняя привлекательность, приветливость, приятельские и дружеские отношения и т. д. в значительно большей степени искажают оценки со­служивцев, чем руководителей.

Как это можно учесть в профессиональном отборе и подборе в орга­низации? Как показывают результаты исследований, наибольшей эффек­тивности кадровых решений можно достичь путем обобщения оценок из различных источников — руководителей, сослуживцев, клиентов организации и самооценок рассматриваемых кандидатов. Использова­ние различных оценщиков снижает субъективизм суждений и в то же время сохраняет те преимущества, которыми обладает каждый метод.

Тестирование

Существуют определенные требования, которым соответствуют на­учно обоснованные психологические тесты: стандартизация, нормы, надежность и валидность. Именно эти характеристики должны прежде всего приниматься во внимание пользователями тестов. Эти факторы отличают настоящий психологический тест от пародий на тесты, часто публикуемых в популярных журналах («Счастливы ли вы в браке?» или «Пользуетесь ли вы успехом у поклонников?»). Следует отметить, что не все, даже широко известные, тесты полностью соответствуют указан­ным требованиям. Тем не менее существуют эталоны, к которым должны стремиться все тесты, используемые для отбора персонала.

Стандартизация. Под стандартизацией подразумевается единооб­разие предъявления и обработки теста. Если необходимо сравнить ре­зультаты тестирования нескольких аппликантов, то, разумеется, необходимо предусмотреть, чтобы условия тестирования были идентичными для всех. В противном случае любое изменение условий тестирования может поставить одних в невыгодное положение по сравнению с други­ми. С целью достижения единообразия создатели тестов указывают в ру­ководствах точные процедуры тестирования, касающиеся временных ог­раничений, устных инструкций, ответов тестируемых на специфические вопросы, форм и бланков, необходимых для прохождения теста, физи­ческих условий (например, сидя за столом, условий освещения и т.д.), а также процедуры обработки результатов.

Нормы. Если известно, что аппликант правильно решил 60 из 100 пунктов теста на механические (reasoning) взаимодействия, эта инфор­мация не говорит ничего конкретного о его успешности по сравнению с другими кандидатами.

Для того, чтобы интерпретировать эти данные, их надо сравнить с результатами, показанными группой других аппликантов. Такое сравне­ние становится возможным при наличии тестовых норм. Фактически нормы — это распределение тестовых результатов, полученных на боль­шой выборке лиц, представляющих популяцию аппликантов, которые могут рассматриваться как потенциальные работники на данном рабо­чем месте или по данной специальности. Распределение такой референтной группы служит системой отсчета для сравнения результатов, по­казанных аппликантами. Совпадают ли результаты аппликанта со средними показателями группы или они значительно выше (ниже) сред­ней величины? Аппликант, чьи результаты на 2 стандартных отклонения превышают среднюю, имеет лучшие показатели, чем 97,8 % референт­ной группы.

Подробное руководство по оценке психологических тестов было опубликовано Американской психологической ассоциацией под назва­нием «Стандарты для образовательных и психологических тестов». Эти стандарты основаны на информации о валидности, надежности, нормах и других тестовых характеристиках, которые должны быть отражены вруководствах по использованию тестов. Наиболее важными стандарта­ми для тестовых норм являются следующие:

1. Нормы должны быть опубликованы в руководстве по использова­нию теста к моменту его опубликования для практического использова­ния. (Фактически большинство публикуемых тестов не имеют норм, в луч­шем случае авторы обещают опубликовать их в ближайшем будущем.)

2. Нормы, прилагаемые к руководству по использованию теста, должны иметь точную и подробную информацию об использованных выборках. Этими выборками должны в идеале быть те группы аппликантов, с которыми планирует работать пользователь теста.

3. Описание групповых норм должно быть достаточно полным, что­бы пользователь мог без труда соотнести с ними характеристики своей выборки. Такое описание должно также включать возрастные, половые и образовательные характеристики.

4. Количество случаев, на основании которых получены нормы, дол­жно быть точно указано в руководстве. Если количество случаев мало или нерепрезентативно, пользователь должен быть очень осторожным в интерпретации полученных данных, в частности, оценивая возможную величину ошибки намерения.

5. Руководство по использованию теста должно иметь указания на групповые различия, обусловленные возрастом, полом, степенью под­готовленности и другими важными с профессиональной точки зрения переменными.

Надежность. Важной характеристикой теста является его надежность, т.е. способность давать консистентные/непротиворечивые результаты при повторных использованиях. Весы были бы совершенно бесполезны, если бы каждое утро они показывали разный вес, вызывая искреннее недоумение: худею или набираю вес? Аналогичным образом и психологический тест принесет мало пользы, если он при последующем использо­вании показывает противоречивые результаты. Принимая кадровые решения, менеджер должен быть уверен, что если аппликант А при пси­хологическом тестировании показал значительно лучший результат, чем аппликант В, эта разница сохранится и при повторном тестировании, ска­жем, двумя неделями позже. Если при одной и той же процедуре тести­рования одни и те же аппликанты показывают противоречивые результа­ты, то такая процедура не представляет большой ценности для отбора персонала.

Разумеется, как бы ни были сходны условия проведения тестирова­ния, никакой тест не является идеально надежным. На результаты тес­тирования всегда оказывают влияние как состояние тестируемых (на­пример, биоритмы, усталость, стресс и т.д.), так и даже незначительные изменения в условиях проведения тестирования (шумы, освещенность, погода и т.д.). Таким образом, перед тем, как использовать тест для отбора персонала, необходимо убедиться в его надежности.

Существует целый ряд методов определения надежности теста. Рассмотрим несколько из них.

Тест-ретест метод. Этот метод предполагает двойное предъявление одного и того же теста одинаковой выборке тестируемых и последую­щую корреляцию двух распределений. Чем ближе к +1,00 значение полученной корреляции, тем более стабильны показатели теста и больше его надежность. Разумеется, очень важно, чтобы в руководстве по использо­ванию теста был указан временной интервал между двумя предъявлениями, так как чем больше времени между предъявлениями, тем обычно ниже надежность теста. Однако из-за эффектов практики и запоминания, которые при повторном предъявлении могут оказывать влияние на ре­зультаты тестирования, данный метод проверки надежности теста не ре­комендуется для некоторых видов тестов (например, тесты на скорость восприятия, память, моторную координацию и т.д.).

В методе эквивалентных форм используется тот же подход, что и в методе тест-ретест, однако здесь во второй раз предъявляется не та же, а эквивалентная форма теста, т.е., сходная по всем содержательным харак­теристикам, но различная по форме и количеству вопросов/заданий. Эквивалентными, например, являются полная и краткая формы опрос­ника ММРI. Главное достоинство этого метода — устранение проблем, связанных с эффектами запоминания и научения. В то же время недо­статком выступает необходимость разработки эквивалентной формы, тре­бующая дополнительных расходов.

Так называемый метод «двух половинок» («split-halves method») связан не только с временной стабильностью теста, сколько с определением его внутренней консистентности. Для определения надежности с помощью этого метода результаты тестирования искусственно раз­деляются на два распределения: одно образуется четными вопросами/ заданиями теста, другое нечетными. Затем, определив, в какой мере дан­ные обоих распределений коррелируют между собой, подставляют по­лученный коэффициент корреляции в формулу Спирмена-Брауна (Spearmen-Brown). Этот метод, пожалуй, наиболее популярен благода­ря своей экономичности как с точки зрения времени, так и затрат.

Надежность теста, используемого для профессионального отбора или подбора, должна быть в диапазоне +0,80 — +0,90. Указания на величину корреляции в руководстве по использованию теста должны сопровож­даться информацией о примененном методе определения надежности.

Валидность. В широком смысле валидность свидетельствует о степе­ни соответствия/идентичности измеряемой тестом характеристики самой характеристике. Например, если индивид имеет высокие показатели по интеллектуальному тесту, то этот тест будет считаться валидным только в том случае, если его результаты не противоречат другим проявлениям развитого интеллекта (высоким показателям в учебе, выработке опти­мальных решений в трудовой деятельности и т.д.). Если же такой корреляиии не будет, а обладатель высокого IQ будет удивлять окружающих своей глупостью, станет очевидно, что тест лишен валидности и, по всей видимости, изменяет вовсе не интеллект, а что-то иное.

Существует несколько видов валидности. С точки зрения задач отбора и подбора персонала наибольший интерес и важность представляют кри­териальная и содержательная валидность.

Критериальная валидность определяется степенью соответствия (корреляции) тестовых показателей индивида имеющимся показателям его профессиональной деятельности. Так, например, для проверки валид­ности теста на склонность к работе торговым агентом необходимо предъявить его выборке работников соответствующей профессии и, если высокие показатели теста будут иметь значимую положительную корре­ляцию с показателями продаж тестируемых за последние три года, тест вполне будет пригоден для найма новых работников в отдел сбыта. Раз­личают два типа критериальной валидности: прогностическая валидность и одновременная валидность. Первая из них является наиболее убеди­тельной для целей отбора, поскольку она непосредственно оценивает способность теста прогнозировать последующую деятельность тести­руемого. Для оценки прогностической валидности результаты тестиро­вания аппликанта перед наймом сравниваются с критериями его профес­сиональной деятельности впоследствии (например, через год с момента найма). Одновременная валидность определяется предъявлением теста уже работающим работникам и корреляцией тестовых данных с критери­ями их профессиональной успешности. «Стандарты для образовательных и психологических тестов» (Standards for Educational and Psychological Tests) предусматривают следующие рекомендации, полезные для исполь­зования тестов в задачах отбора и подбора персонала:

1. Руководство по использованию теста должно иметь информацию о валидности теста по каждому критерию, в отношении которого дает­ся рекомендация.

2. Для каждого прогноза в руководстве по использованию теста долж­ны сообщаться корреляции между тестовыми показателями и объектив­ными критериями с указанием специфики профессии, организации и ситуации.

3. В руководстве по использованию теста должен сообщаться ин­тервал между временем предъявления теста и временем сбора крите­риальных данных.

4. Если тест рекомендован для долговременного прогноза, но име­ется информация лишь о его одновременной валидности, в руковод­стве по использованию теста должно быть указана недостаточная обо­снованность такого прогноза.

5. Критериальные данные должны быть независимы от тестовых показателей. Руководство по использованию теста должно сообщать о том, ка­кие шаги были предприняты для того, чтобы избежать возможной подгон­ки критериальных данных и предупредить о ее недопустимости.

6. Руководство по использованию теста должно иметь информацию о выборке, на основании которой тест был валидизирован, с указанием возрастных, половых и образовательных характеристик и социально-экономического статуса.

7. Валидизация теста должна проводиться на выборке, имеющей те же возрастные, образовательные или профессиональные характеристики, что и лица, для которых тест рекомендуется использовать.

8. Если имеется дополнительная информация, которая может иметь ценность для критериальной валидности теста, руководство по исполь­зованию теста должно предоставить эту информацию с указанием ее корреляций с тестовыми и критериальными данными.

Содержательная валидность обычно используется для валидизации тестов достижения. Она включает систематический анализ содержания теста на предмет его адекватности измеряемым навыкам, знаниям и способностям, необходимым в конкретной профессии. Определяется такая валидность на основании суждений экспертов (например, руковод­ства, инженерно-технического персонала и т.д.) о соответствии содер­жания теста содержанию конкретной профессиональной деятельности. Так, например, экспертам может быть независимо предложено оценить тестовые вопросы/задания на предмет их важности (бесполезности) для конкретной профессиональной деятельности. Рекомендуется, чтобы тесты для отбора и подбора персонала в организации обладали как со­держательной, так и критериальной валидностью.