Лекция 8. Тестирование в исследовании систем управления
Тестирование − метод психологической диагностики, использующий стандартизированные вопросы и задачи (тесты), имеющие определенную шкалу значений.
Тестирование − метод изучения глубинных процессов деятельности человека, посредством его высказываний или оценок факторов функционирования систем управления.Применяется для стандартизированного измерения индивидуальных различий.
Основные области применения тестирования
· Отбор персонала с целью наибольшего соответствия конкретному виду деятельности.
· Снижение вероятности конфликтных ситуаций.
· Разработка индивидуальных программ повышения профессиональной подготовки.
Ф Гальтон на основе проведенных исследований предложил теорию группировки людей по уровню интеллекта, в основе которой лежит закон нормального распределения.
Признано, что основная совокупность показателей сосредоточена около средней величины (точка 0), а по обе стороны от нее лежат: слева − показатели низкого уровня; справа − показатели высокого уровня. Причем размах колебаний признака от минимального до максимального значения на 99,73% ограничен интервалом ( 
3) от средней величины, то есть в интервале от плюс 3 до минус 3 находится 99,73% числа наблюдений всей совокупности. Психологи считают, что когда при случайной выборке субъектов измеряются их интеллектуальные, а также любые другие факторы, то все показатели распределяются по нормальной кривой, имеющей форму симметричного колокола.
Если закон нормального распределения принять за аксиому при группировке психологических факторов, то этот закон должен быть положен в основу разработки тестов и процедуры обработки данных. Достаточно авторитетные источники и практика психодиагностики подтверждают это.
Оценка профессиональной пригодности персонала по важности занимает одно из первых мест в решении задач управления и повышения эффективности производства.
Основные виды тестов
Практические тесты
Используются для оценки работника в действии: исполнение обязанностей, ремонт аппаратуры, сборка механизмов и т.д. Для проведения испытаний по практическим тестам создается обстановка, приближенная к реальной. Составляется контрольное упражнение, отражающее главную идею того, что требуется проверить, для этого готовится специальная таблица, в которой расписываются все элементы действия, которые будут фиксироваться в ходе тестирования.
Пример практического теста: монтаж и регулировка системы питания испытательного стенда.
Цель: измерить навыки по регулировке системы питания испытательного стенда. Время на упражнение 10 минут.
| Элементы действия | Оценка | ||
| Да | Нет | Балл | |
| Подготовка к монтажу | |||
| 1. Подбор инструментов и материалов | |||
| 2. Проверка правильности присоединения приборов | |||
| 3. Отсоединение лишних проводников и т.д. |
Тестирование при оценке профессионального мастерства позволяет минимизировать влияние личных взаимоотношений между лицом, осуществляющих контроль (руководитель, преподаватель) и контролируемым им субъектом (сотрудник, проходящий переаттестацию, студент).
2.Тесты на узнавание.
Используются для оценки способности испытуемых вспоминать и называть рабочий инструмент, блоки аппаратуры, приборы, отдельные части изделий. Тесты практикуются для оценки способности испытуемых находить ошибки в схемах. Оценка результатов: по одному баллу за узнавание и за определение функций техники.
3.Бланковые тесты. Составляются в основном в пяти формах: выборочные тесты; тесты на отыскание компонента; тесты на дописывание; альтернативные тесты; тесты – описания.
· Выборочные тесты. Состоят из двух частей: вопроса и набора ответов. Причем один из предполагаемых ответов может быть или единственно правильным или наиболее подходящим. Постановка вопросов в тестах должна быть полностью однозначной (то есть предполагать единственно правильный ответ). Возможность угадывания должна быть сведена к минимуму.
Разновидностью выборочных тестов, является тест с «перевернутым выбором» ответов, когда испытуемый находит в серии предложенных ответов один, явно не правильный. При контроле таким тестом испытуемый ставится перед выбором ответов, оставаясь в значительной мере пассивным к формулировке ответов. Подсчет баллов происходит с коррекцией по формуле:
,
где S − ,балл за тест; R − число правильных ответов; W − число неправильных ответов; N − число выборов.
Когда же при подсчете обнаруживается еще и пропущенные (нерешенные) проблемы, то при подсчете применяется формула:
,
где К − количество проблем теста; О − число нерешенных проблем.
Во втором случае общий балл обычно бывает выше, так как нерешенные проблемы − это еще не ошибочные ответы.
· Тесты на отыскание компонента. Включают в себя две колонки (А и В) слов, фраз, тезисов, объединенных общим смыслом. В колонке А обычно пишется понятие, а в колонке В − утверждения, относящиеся к этим понятиям. Подсчет баллов происходит по количеству правильно найденных соответствий.
· Тесты на дописывание. Требуют от испытуемого дополнения некоторого пропущенного ключевого слова.
· Альтернативные тесты. (Тесты «Да – Нет») состоят из серии утверждений, которые могут быть определены как правильные или ложные. Поскольку альтернативные тесты содержат большой процент угадывания, то коррекция при подсчете баллов, когда имеются только правильные и неправильные ответы, осуществляется по формуле:
Если же имеются правильные, неправильные и нерешенные проблемы, то коррекция осуществляется по формуле:
· Тесты-описания − развернутые ответы на поставленные вопросы. Разновидностью таких инструментов оценки бывают устные тесты, то есть обычная постановка вопросов с последующим ответом. Подсчет баллов при оценке по тестам-описаниям осуществляется путем сравнения ответ испытуемого и подготовленного эталона. Оценка зависит от субъективного отношения инструктора к ответам испытуемого.
Процедура построения теста состоит из ряда фаз.
1) определение цели тестирования;
2) подготовка либо вопросов по выявлению знаний, либо практических заданий по оценке уровня мастерства;
3) подготовка инструкций по заполнению тестов;
4) разъясняется порядок оценки результатов тестирования.
5) готовятся примеры заполнения теста.
6) проводится ревизия теста.
Ревизия теста
Ревизия теста заключается в оценке полученных в испытаниях показателей и подгонке результатов под нормальную кривую распределения.
Статистическим эталоном в этом случае в этом случае выступает стандартное отклонение. Одно стандартное отклонение охватывает примерно 28% всех баллов испытуемых. Стандартное отклонение может варьироваться от распределения к распределению. Поскольку данный факт зависит от разброса показателей, но в любом случае процент баллов, входящий в одно стандартное отклонение остается постоянным. Во всех случаях полтора стандартных отклонения будут содержаться около 43% (по обе стороны 86%) величин. Именно такое распределение принимается за эталон в любой ситуации тестирования.
Отсюда система тестирования исходит из своего главного статистического правила: показатели, лежащие левее на полтора стандартных отклонения от средней величины, признаются ниже нормативного, а правее − выше нормативного. В целом 86 %показателей принимаются за норму. 7% − ниже нормы; 7% − выше нормы.
Тогда при трехбалльной системе оценки доля баллов должна быть следующей: 7% − не отвечают стандартам; 86 % − отвечают стандартам; 7% − выше стандарта.
При пятибалльной системе оценки обучения доля баллов должна быть следующей: 7% − плохо; 24% − удовлетворительно; 38% − хорошо; 24% − отлично; 7% − сверхотлично.
Всякие отклонения от стандартного распределения оценок происходят вследствие несовершенства теста, в связи с чем при ревизии тест модифицируется таким образом, чтобы он обеспечивал нормальное распределение баллов. Для этого рассчитываются индекс трудности и индекс валидности человека.
Индекс трудности составного компонента теста − показатель, характеризующий количество испытуемых, которые ответили на данный вопрос правильно. Определяется по формуле:
,
где Т − индекс трудности;
R − число правильных ответов;
N − число испытуемых.
Величина индекса трудности должна находиться в пределах 25% − 75%, где число 25% указывает на тот факт, что данный вопрос труден, а 75%, что вопрос легкий. Индекс трудности позволяет располагать вопросы в тесте по нарастающей трудности. Но главное назначение индекса − приведение тестовых показателей к нормальному распределению.
Индекс валидности тестового компонента − показатель, характеризующий его способность устойчиво дифференцировать профессиональную компетентность испытуемых.
Высоковалидный компонент или в целом весь тест подготовлен с таким расчетом, что он фиксирует высокий балл у более подготовленных испытуемых и низкий балл у менее подготовленных. Если случается, что на какой-либо вопрос люди с высокой эрудицией отвечают неправильно, а с низкой − правильно, то такой вопрос признается невалидным. Индекс валидности тестового компонента определяется по формуле:
,
где V −индекс валидности;
C − число лиц сильной группы, ответивших на вопрос правильно;
L − число лиц слабой группы, ответивших на вопрос правильно;
N − число испытуемых.
При 
тест не валиден; при 
− условно валиден; 
−валиден, то есть приемлем.
В управлении при помощи тестирования можно исследовать проблемы использовании ресурсов, уровень квалификации персонала, распределение функций управления, сочетание формального и неформального управления, стиля управления и пр.
Контрольные вопросы
1. Цель использования тестирования в исследовании систем управления.
2. Разновидности используемых тестов?
3. Что характеризует индекс трудности тестового компонента?
4. Что характеризует индекс валидности тестового компонента?
5. Как правильно составить тест? Как подсчитать количество баллов в бланковых тестах?
6. Что такое ревизия теста?
Дата добавления: 2016-05-11; просмотров: 2302;