Метод экспертных оценок
Исходная задача нашего исследования состояла в том, чтобы выявить, действительно ли существуют группы индивидов с «автономным» и «зависимым» типами субъектной регуляции деятельности.
Как известно, в психологии отсутствуют строгие методы количественной оценки выраженности индивидуальных качеств, поэтому мы обратились к методу экспертных оценок, достаточно распространенному в психодиагностике (Г.С. Прыгин, 2003). Экспертом принято считать высококвалифицированного специалиста, который может создать собственную (субъективную) модель анализируемого явления (Н.Н. Китаев). Это означает, что область деятельности эксперта, его специализация должна соответствовать той области, к которой относится анализируемое явление.
Ввиду того, что основной эксперимент проводился в высшем военном инженерном училище с курсантами второго курса (лица мужского пола, в возрасте 19—21 года), в качестве экспертов были привлечены 3 воспитателя-преподавателя, которые достаточно хорошо знали характеры, возможности, способности и особенности учебной деятельности оцениваемых учащихся.
При использовании экспертного метода исследователь должен помочь эксперту сформировать исходную адекватную модель исследуемого явления, поэтому каждому из экспертов в индивидуальном порядке разъяснялась сущность «автономности-зависимости» как противоположных типов осуществления субъектной регуляции деятельности.
На основании анализа психологической литературы, бесед с профессиональными психологами, с преподавателями различных школ, вузов, с руководящими работниками различных предприятий, а также на основании собственных наблюдений нами был выделен набор (симптомокомплекс) тех «деятельностных» характеристик личности, от развития которых зависит успешность выполнения любой практической деятельности.
К этому симптомокомплексу были отнесены следующие характеристики: склонность к самостоятельной работе, без контроля со стороны; собранность и настойчивость в достижении поставленных целей; адекватная самооценка; решительность в преодолении возникающих перед ним проблем; уверенность в себе и результатах выполненной работы; чувство ответственности; склонность к систематическому планированию свой деятельность; умение заставить себя сосредоточиться на выполнении задания; в случае необходимости, легкость переключения с одной работы на выполнение другой; внутренняя потребность всегда доводить порученную работу до конца; развитый самоконтроль и рефлексия; умение использовать как внешнюю, так и внутреннюю информацию для достижения поставленной цели; способность критически оценивать свой успех (или неудачу) в деятельности и правильно проанализировать их причины.
После индивидуальной беседы, разъясняющей суть феномена «автономности-зависимости», каждому эксперту давался бланк, содержащий полный перечень указанных выше характеристик учащегося с «автономным» типом субъектной регуляции деятельности и давалась инструкция следующего содержания: «Представьте себе идеального человека, о котором можно было бы сказать, что он обладает указанным набором характеристик. Исходя из Ваших представлений об отдельных учащихся, определите, пожалуйста, кто из курсантов в наибольшей степени приближается к указанному образу, и присудите ему первое место в его учебной группе. Затем определите претендента на второе место и т.д., таким образом проранжируйте всех учащихся внутри их академических групп».
Необходимо особо подчеркнуть, что такой важный показатель, как успеваемость, специально не был включен в инструкцию, так как для преподавателя успеваемость в значительной степени определяет общее мнение об учащемся и, в частности, может влиять на восприятие других его качеств (Ананьев, 1980). Для нас же на данном этапе главной была независимая оценка всего комплекса перечисленных выше «деятельностных» характеристик.
Для повышения надежности данных мы воспользовались также методом взаимного оценивания, которое было проведено среди учащихся каждой академической группы. Инструкция, которая давалась им, отличалась от той, с которой работали преподаватели, лишь тем, что учащихся просили не ранжировать состав группы, а написать не менее трех и не более десяти фамилий своих товарищей по группе, которые, по их мнению, больше всего соответствуют такому идеальному образу. Свобода высказываемого мнения обеспечивалась тем, что опросные бланки учащимися не подписывались.
На основании анализа экспертных данных и данных взаимного оценивания были выявлены учащиеся, которых можно было отнести к одной из типологических групп: «автономным» или «зависимым». Прежде чем описать процедуру формирования групп, рассмотрим несколько подробнее результаты экспертного ранжирования. Наибольший интерес с этой точки зрения представляет степень согласованности между собой мнений экспертов (при ранжировании учащихся по каждой академической группе). Высокий показатель такой согласованности мог бы говорить о том, что каждому эксперту удалось сформировать адекватную представленному описанию модель феномена «автономности-зависимости».
Коэффициент согласованности мнений экспертов подсчитывался по формуле (Математическая статистика, 1981):
, (1)
где d – фактически встречающееся отклонение от среднего значения суммы рангов одного объекта;
М – количество экспертов;
n – количество рангов в каждой последовательности.
Средний коэффициент согласованности по всем шести учебным группам составил К = 0,68, т.е. оказался достаточно высоким и значимым при р ≤ 0,01.
Подсчет баллов по методу взаимной оценки учащихся производился следующим образом: подсчитывалось, сколько раз указывалась фамилия курсанта его товарищами по учебной группе. Так как по инструкции учащимся надо было указать не менее трех и не более десяти фамилий, то по каждой учебной группе мы получили списки курсантов, набравших то или иное количество выборов.
Необходимо отметить хорошую согласованность между мнениями экспертов и самих учащихся о том, кто из курсантов в наибольшей степени соответствует предъявленному идеальному образу. Эта согласованность выразилась в том, что практически все курсанты, занявшие по экспертным данным первую треть мест в каждой из академических групп, получили определенное количество баллов (выборов) по взаимной оценке.
При формировании групп мы исходили из следующих соображений. В группу «автономных» учащихся вошли только те курсанты, которые по экспертным данным заняли первую треть мест в каждой учебной группе и получили при этом максимальное количество выборов по методу взаимного оценивания. Учащиеся, занявшие при ранжировании последнюю треть мест и при этом не получившие ни одного выбора, составили группу «зависимых». Так как нашей задачей было формирование полярных групп, учащиеся, занявшие средние ранговые места в каждой учебной группе, были исключены из дальнейшего рассмотрения. Таким образом, были сформированы две полярные группы по 40 человек в каждой, с которыми и проводились все дальнейшие исследования.
Итак, проведенное исследование показало, что эксперты (преподаватели) и сами учащиеся на основании предложенного описания действительно смогли сформировать адекватную модель феномена «автономности-зависимости» и соответствующим образом оценить весь контингент обследуемых учащихся. Это подтверждает правомерность выделения нами соответствующих личностно-типологических особенностей осуществления деятельности.
2.2.2. Конструирование и психометрическая оценка опросника «автономности-зависимости»
Из описания видно, что эксперты не давали количественных оценок степени «автономности» каждого конкретного учащегося; фактически они оценивали только относительную сформированность деятельностных характеристик у одного учащегося по сравнению с другим. Например, если кто-то из первой учебной группы занимал в ней первое место и кто-то из второй учебной группы также занимал первое место в своей группе, то мы не можем сказать, у кого из этих учащихся данный симптомокомплекс сформирован лучше и насколько. Это связано с тем, что каждый преподаватель (эксперт) оценивал все шесть учебных групп. Естественно, что некоторые из групп он мог знать лучше, чем другие. Понятно, что ни один из экспертов не был в состоянии с одинаковой степенью компетенции оценить всех курсантов, поэтому возникла вторая задача нашего исследования: создать инструмент (методику), позволяющий выделять из общего контингента «автономных» и «зависимых» учащихся, не прибегая к экспертным методам.
Как отмечает А. Анастази, наибольшее распространение при исследовании личностных характеристик получили «личностные тесты» в виде опросников. Примерами подобных тестов являются широко известные опросник 16PF Кеттелла, Миннесотский личностный опросник MMPI, опросники Гилфорда, «списки личных предпочтений» Эдвардса, шкала «социальной желательности» Марлоу – Кроуна, «I-Е» шкала Дж. Роттера и многие другие.
После тщательного теоретического анализа методов психологического тестирования мы остановились на такой форме, как стандартизованный опросник, поскольку он является наиболее удобным методом групповой диагностики, позволяет более строго интерпретировать ответы и более прост в обработке данных при массовых обследованиях.
На первом этапе разработки опросника для выделения типологических групп «автономных» и «зависимых» мы предъявляли учащимся утверждения, которые были связаны с выполнением ими учебной деятельности или непосредственно оценивали их личностные качества, имеющие значение для выполнения деятельности. Примеряя к себе такие утверждения, обследуемый должен был выбрать один из четырех ответов: «Да», «Пожалуй, да», «Пожалуй, нет» и «Нет». Апробация первых вариантов показала, что большей дифференцирующей способностью обладают те утверждения, которые адресуются к особенностям деятельности испытуемых, а не непосредственно к их личностным качествам, хотя по своей психологической сути это могут быть практически эквивалентные утверждения.
Специальные беседы с учащимися показали, что особенности учебной деятельности оцениваются ими легче, чем собственные личностные качества, проявляющиеся в этой деятельности. Испытуемые легче и точнее примеряют к себе такое, например, утверждение: «Я с одинаковым старанием выполняю как интересную, так и неинтересную для меня работу», чем утверждение: «Я обладаю чувством ответственности за порученную работу». Особенно отчетливо различия в ответах выступают в тех случаях, когда утверждения имеют «негативный» характер. Практически никто из мужчин не отвечает «Да» на утверждение «Я нерешительный человек», хотя многие из таких испытуемых соглашаются с утверждением «Как правило, любые решения я принимаю, советуясь с кем-нибудь» или «Для успешного выполнения ответственной работы необходимо, чтобы меня контролировали».
По-видимому, сказанное связано как с тем, что учащиеся недостаточно хорошо знают или не умеют оценивать себя, что они не видят отражения и проявления себя и своих качеств в своей же деятельности, так и с актуализацией в случае «негативных» утверждений механизмов защиты собственного «Я» (Анастази, Клайн, Орлов и др.). В любом случае справедливым является то, что учащиеся легче и точнее оценивают не себя, а свою деятельность.
С учетом полученного опыта и в результате ряда последующих доработок был построен исходный вариант опросника, содержавший 73 утверждения, которые относились к широкому кругу деловых качеств, привычек, склонностей и навыков учащихся. Шкала ответов была сохранена в прежнем виде, поскольку введение нами вариантов ответов «Пожалуй, да» и «Пожалуй, нет» устраняет категоричность, присущую полярной шкале, содержащей только ответы «Да» и «Нет». Этот вариант опросника был использован для обследования курсантов второго курса (всего в обследовании приняло участие 106 учащихся, включая и тех, кто по экспертным данным занял серединные места).
Для того чтобы из 73 утверждений можно было отобрать те, которые обладают наибольшей дифференцирующей способностью по параметру «автономности-зависимости», необходимо было оценить по этому параметру весь обследуемый контингент с помощью данного опросника и затем сравнить полученные результаты с данными экспертного ранжирования. Процедура отбора «работающих» утверждений и установление конструктной валидности опросника проводились следующим образом (Прыгин, 2003).
Каждый испытуемый получал бланк, содержащий утверждения и инструкцию, в которой говорилось, что опросник предназначен для изучения «особенностей деятельности». При обработке заполненных бланков положительные ответы «Да» и «Пожалуй, да» объединялись в ответ «Да», а оба отрицательных – в ответ «Нет». Валидность каждого утверждения, относительно признака «автономность», оценивалась с помощью критерия «хи-квадрат» Пирсона; причем, так как наблюдаемые переменные (вид ответа и тип группы) изменяются дихотомически, мы выбрали тетрахорический коэффициент корреляции, который также относится к классу корреляций Пирсона (Гласс, Стенли).
В данном случае коэффициент корреляции вычислялся по формуле, которая оказалась наиболее удобной при массовом обсчете бланков опросника:
, (2)
где a, b, c, d – соответствующие клетки четырехпольной таблицы:
Группы | Ответ | |
«Да» | «Нет» | |
«Автономные» | а | b |
«Зависимые» | с | d |
Если коэффициент корреляции получался положительный, то ключом к оцениваемому утверждению являлся ответ «Да», если отрицательный – «Нет». Для того чтобы понять, как отбирались вопросы и определялся ключ, рассмотрим пример со следующим утверждением: «Мне часто бывает трудно заставить себя сосредоточиться на какой-нибудь задаче или работе». Испытуемые, входящие в группу «автономных», в 25 случаях из 40 ответили: «Нет», а в группе «зависимых» такой ответ дали только 14 человек. Различия в ответах между группами статистически значимы; следовательно, вопрос обладает дискриминативностью. Расчет коэффициента по формуле (2) показал, что в данном случае он равен –0,42 (для этого утверждения: a = 25,
b = 15, c = 14, d = 26), то есть знак «минус» показывает, что ключом для этого утверждения является ответ «Нет», данный испытуемыми, составившими группу «автономных».
После обработки всех 106 ответных бланков, заполненных учащимися, выяснилось, что дифференцирующим свойством обладают лишь 24 утверждения, из которых, в свою очередь, были отобраны 18, наилучшим образом отражающие тестируемые качества учащихся. Полный текст опросника, с указанием дискриминативности каждого утверждения, инструкция для испытуемого, а также ключ к обработке опросника (с ответами на утверждения, адекватными ответам испытуемых, входящих в группу «автономных») приведены ниже.
«Уважаемый респондент! Если Вы согласны с утверждением, то поставьте знак «+» в графе «Да» или «Пожалуй да», если же не согласны, поставьте знак «+» в графе «Нет» или «Пожалуй нет», в зависимости от того, какой ответ больше подходит к Вам. Заполняя опросник, имейте в виду, что утверждения слишком короткие, чтобы в них содержались все необходимые подробности. Представляйте себе наиболее типичные ситуации и не задумывайтесь над деталями.
Не тратьте времени на раздумывания, отвечайте быстро и давайте первый естественный ответ, который приходит Вам в голову. Не опускайте ничего, отвечайте по порядку и обязательно на каждый вопрос. Никаких дополнительных пометок и надписей делать не следует. Возможно, что некоторые высказывания будет трудно отнести к самому себе, в этом случае все равно постарайтесь дать ответ.
При ответах не стремитесь к тому, чтобы произвести заведомо благоприятное впечатление – для нас не существует ни «хороших», ни «плохих» ответов. Свободно выражайте свое мнение. Заранее благодарим Вас за помощь в проведении исследовательской работы».
Дискриминативность всех 18 утверждений, рассчитанная по формуле (2), варьирует от 0,42 до 0,92; все коэффициенты значимы, при р ≤ 0,05.
После выделения валидных утверждений было подсчитано, какое количество баллов набрал каждый испытуемый.
Таблица 1
№ п/п | Содержание утверждения | Ключ | Дискриминативность |
Окружающие люди считают меня уверенным в себе человеке | да | 0,74 | |
Я обязательно возвращаюсь к начатому делу даже тогда, когда меня никто не контролирует | да | 0,61 | |
Мои планы никогда не расходятся с моими возможностями | да | 0,45 | |
При выполнении любой работы я привык оценивать не только ее конечный результат, но и те результаты, которые получаются в процессе работы | нет | –0,7 | |
Даже при выполнении ответственной работы мне не нужен контроль со стороны | да | 0,58 | |
Я с одинаковым старанием выполняю как неинтересную, так и интересную для меня работу | нет | –0,83 | |
Для успешного выполнения ответственной работы необходимо, чтобы меня контролировали | нет | –0,54 | |
Обычно мой рабочий день проходит бессистемно (не по заранее заготовленному плану) | нет | –0,45 | |
При возможности выбора, я предпочитаю делать работу менее ответственную, но и менее интересную | нет | –0,8 | |
После того, как я завершил какую-нибудь работу, я привык обязательно проверить, правильно ли я ее сделал | нет | –0,74 | |
Сомнения в успехе часто заставляют меня отказаться от намеченного дела | нет | –0,68 | |
Перед началом работы я привык анализировать условия, в которых мне необходимо будет работать | нет | –0,92 | |
Мне часто не хватает упорства для достижения поставленной цели | нет | –0,7 | |
Я склонен отказываться от задуманного, если другим кажется, что я начал не так | нет | –0,85 | |
Как правило, любые решения я принимаю, советуясь с кем-нибудь | нет | –0,72 | |
Мне часто бывает трудно заставить себя сосредоточиться на какой-нибудь задаче или работе | нет | –0,42 | |
Когда я поглощен какой-нибудь работой, мне трудно бывает переключиться на выполнение другой работы | нет | –0,8 | |
Я склонен отказываться от работы, которая «не клеится» (не идет) | нет | –0,66 |
Если ответ на утверждение совпадал с ключом, то испытуемому присуждался один балл; таким образом каждый испытуемый мог набрать от 0 до 18 баллов, что и определяло степень его «автономности». Как показала практика, обычно испытуемые набирают от 3—4 до 15—16 баллов. Распределение частот индивидуальных сумм баллов для испытуемых обеих групп (по 40 человек) отражено в таблице 2. Видно, что существуют значимые различия между группами «автономных» и «зависимых» учащихся. Средний балл по группе «автономных» составил Xа = 12,1 при σа2 = 3,84, а в группе «зависимых» Хз = 8,0 при σз2 = 5,23. По критерию Стьюдента различие значимо на уровне р ≤ 0,001.).
Таблица 2
Дата добавления: 2015-09-29; просмотров: 798;