Конкретизация целей

Конкретизация, по мнению М.В. Кларина, должна начинаться с описания направленности воздействия обучения на ученика, про­яснения характера воздействия и детализации его результатов. В этой связи Кларин выделяет ряд вопросов, решение которых с не­обходимостью сопутствует процессу конкретизации. Ответ на пер­вый вопрос направлен на характеристику образовательных усло­вий, создаваемых для реализации целей. Ответ на второй — связан с выявлением внутренних параметров учащихся, их способностей к усвоению нового учебного материала. И наконец, ответ на тре­тий вопрос нацелен на характеристику результатов образователь­ного процесса.

Приведенные Клариным узловые моменты процесса конкре­тизации нуждаются в некоторых уточнениях — изменении не со­держания, а просто порядка постановки вопросов. Поскольку по­рядок постановки вопросов подчинен определенной иерархии, то для отражения сущности происходящих при контроле процес­сов второй и третий вопросы, несомненно, следует поменять ме­стами. Судить о внутренних параметрах учащегося можно толь­ко на основе анализа внешней стороны учебной деятельности, проявляющейся в результатах обучения. По сути, идея перехода от внешнего к внутреннему, идея интериоризации, составляет ядро теории педагогических измерений, когда по наблюдаемым результатам контроля с той или иной степенью точности пыта­ются сделать вывод о внутренних устойчивых характеристиках — параметрах ученика.

, Конечно, не следует забывать о том, что при контроле препо­даватель как бы совершает обратный ход, поскольку на деле имен­но множество параметров испытуемых в процессе взаимодействия с заданиями порождает наблюдаемые результаты выполнения те­ста, т.е. то, что в процессе контроля принято называть результа­тами обучения. При этом выявление степени достижения целей обучения, замкнутых на определенную предметную область, осу­ществляется через контроль учебной деятельности школьников путем сопоставления наблюдаемых и ожидаемых результатов обу­чения.

Непосредственно для целей создания средств измерения наи­больший интерес представляет ответ на третий вопрос, связанный с операционализацией результатов обучения. Процесс операцио-нализации характеризуется рядом этапов, которые схематично изображены на рис. 3.1.

Рис. 3.1. Этапы операционализации результатов обучения

Далее планируемые результаты обучения в сознании препо­давателя-предметника преломляются сквозь призму содержания зна­ний по преподаваемой им учебной дисциплине, и содержание теста начинает обретать свои контуры. Конечно, многое здесь зависит от выбранных средств оценки, так как далеко не всякое содержание дис­циплины и не в любой форме может быть отражено в тесте.

В состав требований к планируемым результатам обучения обычно включают систему изучаемых объектов, описание видов учебной деятельности и качества усвоения учебного материала.

Первым компонентом требований является характеристика объектов изучения с учетом глубины их освещения учителем и пла­нируемого уровня усвоения учащимися. Группой исследователей НИИ СиМО АПН была предложена обще предметная схема, орга­низующая множество объектов изучения в определенную структу­ру на основе морфологического и функционального анализа содер­жания предметов [13]. К важнейшим элементам системы научных знаний исследователи отнесли понятия и факты, законы, теории, идеи, знания о способах деятельности, методологические и оценоч­ные знания.

В этой же работе приводится вывод о том, что использование теории учебной деятельности, разработанной психологами нашей страны (С.Л. Рубинштейн, Н.А. Менчинская, Н.Ф. Талызина), «дает широкие возможности для ее характеристики в программных описаниях, объединяя своими подходами различные учебные пред­меты и различный по характеру материал обучения». Помимо это­го, в работе [13] выдвигается на рассмотрение проблема, связанная с необходимостью выделения видов умений, их классификации и систематизации.

В качестве основы решения проблемы предлагается структура умений, выделенная И.И. Кулибабой [15]. В нее входят умения:

• специальные, формирующиеся в процессе изучения отдельных учебных предметов;

• рационального учебного труда, включающие умения пользоваться различными источниками знаний для решения познавательных задач, планировать и организовывать свою учебную деятельность, контролировать и корректировать результаты учебной деятельности, а также управлять ею в процессе учения;

• интеллектуальные, представляющие собой ядро учебной деятельности и объединяющие все учебные предметы.

классификация целей

При создании теста ставится задача отобразить в его содержании то главное, что должны знать ученики в результате обучения, поэто­му ограничиться простым перечислением целей обучения нельзя. В тест хотелось бы включить все, но, к сожалению, это невозможно, поэтому часть целей приходится просто отбросить и не проверять степень их достижения учащимися. Для того чтобы не утратить са­мое главное, необходимо структурировать цели и ввести определен­ную иерархию в их взаимное расположение. Без сомнения, здесь нет и не может быть готовых общих рецептов, поскольку в каждой дис­циплине свои приоритеты. К тому же отдельные цели заметно свя­заны между собой, и потому простого представления о системе це­лей как об упорядоченной совокупности без рассмотрения связей между элементами явно недостаточно.

Для случая, когда представление об элементах как о несвя­занных составляющих можно считать адекватным системе целей обучения, работа по построению системы целей была проведена Б.С. Блумом (B.S. Bloom) [40]. В настоящее время классификация целей (или, как ее иначе называют, таксономия целей), является наиболее известной в мировой педагогической литературе. Она же и является наиболее технологичной с точки зрения большинства зарубежных разработчиков педагогических тестов. В своей класси­фикации Б.С. Блум выделяет:

1) знание названий, имен, фактов;

2) фактуальные знания;

3) знание определений и понимание их смысла;

4) сравнительные, сопоставительные знания;

5) классификационные знания;

6) знание противоположностей, противоречий, синонимичных и антонимичных объектов;

7) ассоциативные знания;

8) причинные знания;

9) алгоритмические, процедурные знания;

10)обобщенные, системные знания;

11)оценочные знания;

12)процессуальные знания;

13)абстрактные знания;

14)структурные знания;

15)методологические знания.

Классификация знаний Б.С. Блума приведена в несколько из­мененном и сокращенном виде для облегчения этапа целеполагания при разработке теста, в учебном пособии [2]. Сама по себе си­стема тоже не полна и допускает возможность расширения или изменения, обусловленную спецификой дисциплины.

Более полное описание целей, взятое из работы Кларина [12], приводится в приложении 3.1. Предлагаемая в приложении таксо­номия целей подразделяется на две группы. К одной группе отне­сены цели когнитивной (познавательной) области, а к другой — цели аффективной (эмоционально-деятельностной) области.

В последнее время таксономия Б.С. Блума подвергалась зна­чительной критике в связи с недостаточным отражением со­временных достижений в области психологии обучения. Общий критический анализ существующих концептуальных моделей пла­нирования при отборе содержания контроля был проделан в 1987 г. Ромберг, Зариния (Romberg, Zarinnia). К числу недостатков ими были отнесены излишняя упрощенность моделей, не позволяющая использовать современные теории процесса обучения, избыточное внимание к оценке результата обучения, а не к процессу формиро­вания результата, использование линейной зависимости между отдельными составляющими модели.

В последние годы особые осложнения в оценке учебных достижений вызывает смещение акцентов на выявление уровня владения интеллектуальными и практическими умениями, которые, по своей сути, слабо алгоритмизируемы, сложны и неоднозначны при проверке и требуют, как правило, создания концептуальных моделей, альтернативных существующим. _;

Из апробированных на практике в настоящее время наиболь­шее применение находит трехмерная модель, включающая содер­жание, технику измерения и планируемый уровень познавательной деятельности, необходимый для выполнения заданий теста [25].

Первая составляющая модели — содержание — обеспечивает содержательную валидность инструментария, его соответствие учебным программам.

Под второй составляющей — техникой измерения — в основном понимается используемый тип заданий. Необходимость введения второй составляющей вызвана тем, что в настоящее время произош­ло значительное расширение используемых в практике массового тестирования форм. Помимо традиционных заданий с выбором ответа, применяются задания со свободным ответом как в краткой, так и в развернутой форме, экспериментальные задания и др. Разнообразие форм обусловило введение различных технологий, особенности которых должны быть отражены в концептуальной модели.

Третьей составляющей модели является познавательная дея­тельность, на оценку которой направлено измерение. В тра­диционном подходе, использующем таксономию Б.С. Блума, уровень мыслительной деятельности, необходимой ученику для ответа на предложенное задание, определялся экспертом. В но­вой концептуальной модели задания конструируются таким об­разом, что они предоставляют различные возможности для от­вета и уровни познавательной деятельности планируются в концептуальной модели теста.

Детальная разработка категорий познавательной деятельности, требований к уровню ее развития, к проявлению различных уров­ней сформированности интеллектуальных умений осуществляется в настоящее время в различных странах мира. СОЛО-таксономия (SOLO — Structure of the Observed Learning Outcomes), предложен­ная в 1982 г. (Biggs and Collis), — один из примеров разработки со­временной модели структуры познавательной деятельности. На се­годняшний день СОЛО-таксономия прочно вошла в практику деятельности многих тестовых центров. Она достаточно успешно применяется в международных исследованиях качества образования в различных странах мира, в частности для оценки достижений уча­щихся по математике и естествознанию (Collis (1987), Collis and Romberg and Jurdak( 1986), ChikandWatsonandCollis(1988), Marshall and others (1991) и др.). СОЛО-таксономия включает отдельные ас­пекты содержательно-деятельностной модели и этим может быть сравнима с таксономией Блума. Помимо этого, в ней есть элементы теории Пиаже об этапах развития познавательной деятельности. СОЛО-таксономия имеет иерархическую структуру, может быть ис­пользована как для разработки инструментария, так и при интер­претации результатов тестовых измерений.

Современная модель предлагает качественное описание ответов учащихся. Это означает, что уже на этапе разработки инструмента­рия должна быть четко очерчена познавательная деятельность, ле­жащая в основе выполнения каждого задания теста. Тогда на одном конце шкалы познавательной деятельности будут представлены за­дания на воспроизведение фактов и простейших алгоритмов, вклю­чающих только один шаг деятельности, — словом, задания, позво­ляющие учащимся продемонстрировать умения решать простейшие задачи, используя для этого рутинные процедуры или одноуровне­вую познавательную деятельность; на другом конце шкалы — зада­ния, предлагающие учащимся продемонстрировать большое разно­образие интеллектуальных и практических умений.

В ряде появившихся в нашей стране работ таксономия Б.С. Блу-ма также неоднократно подвергалась критике, в частности, из-за того, что в ней произошло методологически недопустимое смеше­ние конкретных результатов обучения (знания, понимание и т.д.) с операциями, представляющими необходимое условие их дости­жения (анализ, синтез, оценка). В этой связи в пособии предлага­ется иная классификация целей. В ее основу положен уровневый системный подход описания достижений учащихся (И.Я. Лернер, В.П. Беспалько и др.), который позволяет сгруппировать результа­ты обучения в зависимости от уровней учебной деятельности.

Первый уровень связан с непосредственным воспроизведени­ем по памяти содержания изученного материала и его узнаванием.

Второй уровень предполагает понимание и применение знаний в знакомой ситуации по образцу, выполнение действий с четко обо­значенными правилами.

Третий уровень включает применение знаний в измененной или незнакомой ситуации.

Таким образом, предлагаемый подход к классификации осно­ван на выделении уровней усвоения знаний и операций, со­путствующих их проявлению (табл. 3.1).

ОПЕРАЦИОНАЛИЗАЦИЯ ПЛАНИРУЕМЫХ РЕЗУЛЬТАТОВ ОБУЧЕНИЯ

После постановки целей в общем виде переходят к операциона-лизации планируемых результатов обучения. Процесс операциона-лизации строится на описании учебных целей в виде результатов оп­ределенной учебной деятельности так, чтобы о степени достижения цели можно было судить вполне однозначно. Идея подобного пере­хода не всегда встречается отечественными исследователями поло­жительно. По поводу перехода от целей обучения, ориентированных на качественные изменения во внутренних характеристиках уча­щихся, к внешним проявлениям в виде результатов учебной деятель­ности написано немало критических работ, например [26, 35].

Таблица 3.1. Классификация целей обучения

Представляется, что ситуация с переходом далеко не столь опас­на, как это любят утверждать представители критического направ­ления. Скорее наоборот, ориентация на внешние стороны деятель­ности учащихся несет в себе ряд положительных моментов. В частности, неизмеримо повышается технологичность описания целей, в связи с чем появляется возможность корректного перехо­да к диагностике степени их достижения.

Повышению конкретизации описания результатов учебной де­ятельности, по мнению Кларина, способствует использование ряда глаголов, непосредственно характеризующих действия ученика [12]. В приведенном им примере из работы [43] цель «изучить ис­пользование символических обозначений на погодной карте» раз­ворачивается в виде совокупности учебных результатов, характе­ризующих деятельность ученика, который должен уметь:

• воспроизводить по памяти символы, употребляемые на карте погоды;

• опознавать символы на карте;

• читать карту, используя символы;

• составлять карту, пользуясь символами;

• уметь по заданной карте дать прогноз погоды.

Несмотря на расхожее среди отечественных теоретиков мнение о возможности операционализации только результатов низкого познавательного уровня, процессу операционализации, несомнен­но, подлежат и довольно сложные цели более высокого уровня. Для этого нужны определенные навыки тех, кто берется за создание тестов. В приобретении подобных навыков разработчикам тестов может помочь ориентировочный перечень глаголов, который при­водит Кларин для конкретизации учебных целей. В случае необхо­димости конкретизации общих целей он рекомендует использовать глаголы:

анализировать, вычислять, высказывать, демонстрировать, знать, интерпретировать, использовать, оценивать, понимать, пре­образовывать, применять, создавать...

для конкретизации целей творческого типа —

варьировать, видоизменять, модифицировать, перегруппировать, перестроить, предсказать, поставить вопрос, синтезировать, сис­тематизировать...

для обозначения целей в области развития устной и письмен­ной речи — выделить, выразить в словесной форме, записать, обозначить, подчеркнуть (не в буквальном смысле), продекламировать, произнес­ти, прочитать, разделить на составные части, рассказать...

Основные категории конкретизированных учебных целей, раз­работанные Клариным в несколько измененном виде, удобном для задач измерения, приводятся в табл. 3.2.

Таблица 3.2. Конкретизированные цели обучения

Очередной этап операционализации связан с переходом от пла­нируемых результатов обучения к тому, что можно отобразить в средствах педагогического измерения, например в тесте. На этом этапе операционализация позволяет структурировать, расчленять, а иногда, наоборот, укрупнять, уточнять и детализировать содер­жание дисциплины для его отображения в содержании теста. Имен­но этот этап обеспечивает переход от теоретического уровня ана­лиза целей обучения к эмпирическому и позволяет концептуально правильно подойти к выделению эмпирических индикаторов — заданий теста.

Последний этап операционализации сопряжен с задачами пла­нирования содержания теста. В процессе планирования автору теста приходится думать о том, что далеко не весь набор целей обуче­ния по разным причинам можно отобразить в содержании теста. Конечно, чем глубже и полнее отображение, тем выше содержа­тельная валидность теста, тем больше оснований доверять тесто­вым баллам учащихся. Однако этот вывод носит исключительно теоретический характер. На практике же приходится думать не только о требованиях тестовой технологии, но и о реальных воз­можностях школьников определенного возраста, которые должны выполнять тест без излишнего напряжения и усталости. В этой свя­зи набор целей необходимо структурировать, чтобы в тест попали самые важные цели учебного процесса.

Выделение целей различного уровня иерархии позволяет уточ­нить определенные предметные области, разделы, темы, содержа­ние которых необходимо отразить в тесте. Отсюда остается один шаг до оценки степени реализации целей, для чего знание пред­метных областей выражается правилами измерения с перечисле­нием элементов содержания в совокупности с желаемыми, плани­руемыми при обучении уровнями владения этими элементами. Таким путем общие цели обучения обретают свою конкретизацию и возникает прагматическое определение знания учебной дисцип­лины: когда испытуемый правильно выполняет на определенном уровне усвоения такие-то задания таких-то разделов теста.

Планирование содержания теста

После определения целей тестирования и их конкретизации необходимо разработать план и спецификацию теста. В соответ­ствии с поставленными целями каждое задание теста предназначе­но для проверки у испытуемых уровня владения определенными знаниями, умениями или навыками.

При разработке плана делается примерная раскладка про­центного соотношения содержания разделов и определяется необ­ходимое число заданий по каждому разделу дисциплины исходя из важности раздела и числа часов, отведенных на его изучение в про­грамме.

Раскладку начинают с подсчета планируемого исходного числа заданий в тесте, которое затем в процессе работы над тестом будет неоднократно меняться в сторону увеличения или уменьшения. Обычно предельное число не превышает 60—80 заданий, посколь­ку время тестирования выбирают в пределах 1,5—2 ч, а на выпол­нение одного задания отводится в среднем не более 2 мин. Пример предварительной раскладки заданий при составлении плана теста для оценки знаний, умений школьников по одному из разделов алгебры показан в табл. 3.3.

Таблица 3.3. План теста по разделу «Алгебраические уравнения»

Конечно, план теста начинает обретать некоторую определен­ность уже на этапе целеполагания, когда преподаватель примерно представляет, сколько и какие задания по различным темам он хо­тел бы включить в тест. Однако такие примерные оценки не про­сто нежелательны, а скорее недопустимы. Тест неизбежно окажется перегруженном второстепенным материалом, а главные вопро­сы могут быть упущены либо для них просто не останется места. Отсюда легко понять важность разработки такого плана, который оптимально отображает содержание учебной дисциплины в содер­жании теста.

После выполнения первого шага по планированию содержания разрабатывается спецификация теста, в которой фиксируется структура, содержание проверки и процентное соотношение зада­ний в тесте. Иногда спецификацию делают в развернутой форме, содержащей указания на тип заданий, который будет использовать­ся для оценки достижений учащихся в соответствии с намеченны­ми целями создания теста, время выполнения теста, число заданий, особенности проведения тестирования, которые могут повлиять на характеристики теста и т.д.

Спецификация в развернутой форме включает¹:

1) цель создания теста, обоснование выбора подхода к его созданию, описание возможных сфер применения теста;

2) перечень нормативных документов (базисных программ, требований к уровню подготовки выпускников и др.), используемых при планировании содержания теста;

3) описание общей структуры теста, включающее перечень субтестов (если они есть) с указанием подходов к их разработке;

4)количество заданий различной формы с указанием числа ответов к закрытым заданиям, общее число заданий в тесте;

5) число параллельных вариантов теста либо ссылку на кластер, содержащую число и номера заданий кластера;

6) вес каждого задания, рекомендуемый автором теста;

7) рекомендуемое время выполнения теста, в том числе на каждый субтест, среднее время выполнения одного задания с учетом специфики формы;

8) соотношение заданий по различным разделам и видам учебной деятельности школьников;

9) рекомендации по контингенту учащихся для апробации теста;

10)охват требований стандартов (для аттестационных тестов);

11)перечень требований, не вошедших в тест (для аттестационных тестов);

¹ Развернутая форма спецификации разработана коллективом тестологов под руководством Г.С. Ковалевой и применялась в 1998-1999 гг. для создания аттес­тационных тестов Российского центра тестирования выпускников общеобразо­вательных учреждений.

12) рекомендуемую автором стратегию расположения заданий в тесте.

Один из наиболее распространенных подходов к созданию крат­кой спецификации основан на сопряжении системы знаний и уме­ний с процентным соотношением заданий по различным разделам или по различным содержательным линиям проверяемой дисцип­лины в тесте (пункт 8 развернутой спецификации). Пример реали­зации подобного сопряжения приведен в табл. 3.4. Предлагаемый в ней перечень знаний и умении носит достаточно общий харак­тер. В него включены:

А — знание понятий, определений, терминов;

В — знание законов и формул;

С — умение применять законы и формулы для решения задач;

D — умение интерпретировать результаты на графиках и схе­мах;

Е — умение проводить оценочные суждения.

Таблица 3.4. Гипотетическая спецификация теста

Несмотря на абстрактный характер и отсутствие явной связи с какой-либо дисциплиной, предлагаемый перечень вполне нагляд­но демонстрирует тот путь, которым обычно идет разработчик тес­тов. Подобного рода перечень знаний и умений, ориентированный на конкретную дисциплину, составляется всегда при планирова­нии содержания теста. Естественно, что в приведенный перечень знаний и умений необходимо ввести некоторые пропорции сооб­разно тем акцентам, которые делаются преподавателем в учебном процессе. Пусть, например, в предлагаемом гипотетическом переч­не установлены следующие пропорции:

А - 10%, В - 20%, С - 30%, D - 30%, Е - 10%.

Для подсчета количества заданий, отводимых на проверку каж­дого пункта перечня, необходимо задаться первоначальным общим числом заданий в тесте, т. е. выбрать длину теста.

Вопрос оптимальной длины теста неоднократно будет рас­сматриваться в процессе изложения материала пособия, сейчас же, на этапе планирования, целесообразно задаться априорной перво­начальной длиной теста. Она устанавливается с учетом цели созда­ния теста, возраста тестируемых учеников и объема содержания проверки. Как уже указывалось ранее, нередко в качестве перво­начальной длины выбирают 60—80 заданий. Особенно в тех случа­ях, когда речь идет об итоговом тестировании старшеклассников на протяжении 2 ч (120 мин) или трех—четырех уроков.

Если при выборе первоначальной длины остановиться на 60 заданиях, то в табл. 3.4 можно заполнить последнюю графу, где про­ставлено число заданий, планируемое для проверки знаний и уме­ний в тесте. В последней графе число заданий выбрано пропорци­онально весу каждого из пунктов А, В, С, D, E в общей раскладке 60 заданий теста. Затем для заполнения таблицы определяется об­щее число заданий по каждому разделу дисциплины (последняя строка). В рассматриваемом примере спецификации таких разде­лов планируется четыре. Вес каждого из разделов в процентах ука­зан в первой строке табл. 3.4.

Конечно, при заполнении таблицы в распределении заданий удается лишь приближенно отобразить пропорции разделов. К тому же не во все ячейки должны быть вписаны числа (например, ячей­ка на пересечении второго столбца и пятой строки), поскольку не­которые умения могут оказаться несовместимыми с содержанием отдельных разделов. Однако даже в таком приближенном видении общей раскладки заданий есть огромная польза для планирования теста.

Естественно, что в процессе работы над тестом первоначаль­ная раскладка заданий будет претерпевать всяческие изменения. Это объясняется тем, что не все задания окажутся удачными и уме­стными в той мере, как это считается на этапе планирования теста. Поэтому с одной частью заданий разработчику приходится рас­статься после экспертизы содержания, с другой — в процессе уг­лубленного анализа результата статистической обработки эмпирических данных выполнения теста. В этой связи после коррекции теста необходима доработка спецификации для приведения ее в соответствие с окончательными пропорциями содержания теста. При другом подходе спецификация содержит процентное со­отношение заданий, планируемое сообразно пропорциям разделов и видам предполагаемой деятельности испытуемого в процессе вы­полнения теста. Разработанный сотрудниками ИОСО РАО пример подобной спецификации итогового теста для проверки знаний и умений школьников по физике приводится в табл. 3.5.

Таблица 3.5. Краткая спецификация итогового теста по физике