Цели и типы оценки

Важнейшая цель оценки интервенционных программ состоит прежде всего в эмпирической оценке ее действенности.Вторая целевая установка — изучить признание программы теми, на кого она направлена.Третья целевая установка касается анализа затрат—пользы. Оценка процесса служит или систематическому выявлению влияний переменных процесса на конечные результаты, или ставит целью как можно быстрее получить обратную связь о принятии и кратковременных эффектах программы во время интервенции. И наконец, последнее, что мы обязаны здесь назвать, — это оценка программы по этическому стандарту на предмет ее целей и методов (ср. здесь, например, оценку Программы содействия высокоодаренным, Hany, 1988).

Исследование эффективности (а также в некоторых случаях соотношения затрат—пользы) — это так называемая «суммарная» оценка, в то время как «формативная» оценка вскрывает целевые установки, ориентированные на процесс и признание. Росси и Фримен (Rossi & Freeman, 1993) или Миттаг и Йерусалем (Mittag & Jerusalem, 1997) предложили систематическую концепцию, в которой различаются типы задач оценки в соответствии со стадией разработки и осуществления профилактических программ (ср. рис. 21.2).

Первая фаза относится к фазе планирования, речь здесь идет о развитии идеи и концептуальных разработках. Вальтер и Шварц (Walter & Schwarz, 1997) называют для этой фазы следующие задачи: идентификация проблемы, установление целей программы, выяснение значимости (соотношение затрат—пользы, ср. выше о различных видах риска), идентификация групп риска и разработка программы интервенции. Используемыми методами здесь могут быть демографические данные, опрос специалистов, анализ случаев и т. д.

Во второй фазе происходит оценка осуществления программы. Формативная оценка (или оценка процесса) должна дать гарантию, что программа будет осуществляться предписанным образом, что возникающие проблемы можно будет распознавать и реагировать на них нужным образом (ср. рис. 21.2).

Рис. 21.2. Типы оценки по стадиям (по Mittag & Jerusalem, 1997)

Третья фаза соответствует суммарной оценке, или оценке результатов. Важнейшие характеристики этой фазы даны на рис. 21.2 (по Mittag & Jerusalem, 1997; см. также Walter & Schwarz, 1997).

6.3. Аспекты плана эксперимента / Разная сложность программ

Как правило, при исследовании профилактической интервенции речь идет о полевых экспериментах (ср. Patry, 1982), чем в существенной мере обусловливается возможность ошибок. Тем не менее эмпирическая оценка эффективности, сделанная даже на основании полевых исследований, может быть более информативной, если использовать подходящие экспериментальные планы (Wottawa & Thierau, 1990). Почти всегда можно говорить разве что о квазиэкспериментальной методике с неэквивалентными контрольными группами. Росси и Фримен (Rossi & Freeman, 1993) предлагают наряду с методикой контрольных групп методики одной группы,которые тоже допускают некоторую оценку воздействия программы, хотя и при менее благоприятных условиях (например, Ischi & Perrez, 1988). Кроме проблемы эквивалентных контрольных групп на возможность оценки влияет и другой фактор — степень сложности интервенции. Разной степени сложности могут быть и критерии.

Программы с низкой степенью сложности отличаются среди прочего своей небольшой продолжительностью — несколько недель или месяцев. Цели в любом случае должны быть четко сформулированы. Группу лечения и контрольную группу можно сформировать относительно без проблем, а наблюдение воздействия (включая катамнез) продолжается несколько месяцев. Подобным образом нередко составляются программы по отвыканию от курения (ср., например, Teld, Miller, Killen & Cooke, 1990).

Обзор оценки такого рода профилактических программ небольшой длительности в сфере проблематики ВИЧ данв метаанализе (Hosler, 1995), где выделяется несколько целевых групп (гемофилия, гомосексуалисты и т. д.), различные цели тренинга (копинг, безопасный секс и т. д.) и различные переменные воздействия (психологические переменные, иммунологические переменные). В анализ вошли 36 интервенций из 31 работы, всего 1483 наблюдаемых лиц. Профилактические предложения можно было подразделить на 6 различных типов интервенции (4 интервенции нельзя было однозначно отнести ни к одному типу):

1) когнитивные поведенческие интервенции (10 интервенций);

2) программы иммунизации к стрессу (4 интервенции);

3) гипнотерапия / методы релаксации (4 интервенции);

4) гуманистические интервенции (6 интервенций);

5) интервенции с использованием спортивных упражнений (5 интервенций);

6) интервенции с использованием аэробики (3 интервенции).

Работы оценивались (согласно Grawe, Donati & Bernauer, 1994) по их клинической значимости, внутренней валидности, разносторонности измерений и другим критериям качества при удовлетворительной «межэкспертной» надежности. Степень эффектов «R» вычислялась совокупно для различных изменений, и эффекты оказались скорее слабыми, но лежали в ожидаемом направлении. Если сравнить все интервенции в целом с контрольными группами, то большинство эффектов оказываются более сильными. При сравнении различных типов интервенции в отношении силы их эффекта лучшие значения обнаруживаются для программ иммунизации к стрессу, затем следуют когнитивно-поведенческие интервенции и, наконец, гуманистические. Но в целом и здесь эффекты довольно скромные и варьируют от 0,32 до 0,20 (воздействие трех типов интервенции на редукцию страха).

Программы по оптимизации установок и способов поведения, необходимых для воспитания,по улучшению внутрисемейных коммуникативных взаимодействий нацелены на долгосрочные изменения, и интервенции продолжаются несколько недель или месяцев, иногда включая и воздействие на поведение ребенка (Dembo, Sweitzer & Lauritzen, 1985). Здесь тоже можно привлекать (квази)-экспериментальные планы, важнейшим элементом которых (Cambell & Stanley, 1966) является сравнение пре- и пост-измерений лечебных групп и контрольных групп и использование метода слепого отбора (рандомизация). Вместо одновременно наблюдаемой (non-treatment) контрольной группы часто используется ожидающая группа, которая получает лечение некоторое время спустя после окончания тренинга в первой группе (например, Minsel & Quast, 1988). Подобный план с ожидающими и контрольными группами Педро-Керрол и Коуен (Pedro-Carroll & Cowen, 1985) заложили в основу продолжающегося свыше 10 недель тренинга для детей разведенных родителей. Они сравнивали 40 случайно отобранных детей тренинг-группы с 32 детьми ожидающей группы по величине успеха, которая определялась на основании оценок учителей, родителей и собственных оценок.

Ориентированным на результат и процесс был тренинг совладания со стрессом (Schinke, Schilling & Snow, 1987): 278 подростков, в возрасте в среднем 11,75 лет, рандомизированно распределялись в группу тренинга и контроля. Тренинг состоял из восьми 50-минутных сеансов навыков совладания со стрессом в течение 2 месяцев. Экспериментальным планом предусматривалось помимо пре- и постизмерений непрерывное наблюдение подростков в течение сеансов тренинга и опрос непосредственно после каждого тренинга. К оценке тренинга можно отнести и работу Кёле и Кёле (Köhle & Köhle, 1988), в которой контролировалась к тому же и стабильность достигнутых изменений путем катамнестических наблюдений.

Чем сложнее и долгосрочнее профилактическая программа, тем многообразнее источники ошибок и тем сомнительнее доказательства, что множественные долговременные эффекты можно объяснить конкретными факторами какой-то программы. Поэтому довольно многие теоретики и методологи оценки считают необходимым использовать более либеральные критерии исследования в комплексных проектах. В частности (Cronbach, Ambron & Dornbusch, 1980), большее значение при оценке комплексных программ приписывают внешней валидности, а не внутренней. Или предлагается уделять больше внимания значению вненаучных источников знания, например учитывать богатый опыт участников программы. Кук и Мэтт (Cook & Matt, 1990) предлагают для этого соответствующие концепции, отчасти противоречивые.

И все же в отношении комплексных профилактических программ тоже существуют возможности дать рациональную и более или менее эмпирически обоснованную оценку их эффектов и других релевантных для действий признаков (таких, как признанность, затраты и т. д.). Как правило, в комплексные программы тоже закладывается план с использованием контрольных групп, многократные измерения, а также различные источники данных и методы их получения («multi-method-measurement») (ср. прим. 21.5).

Примечание 21.5. «Houston Parent-Child Development Center Program» (Johnson, 1988)

Постановка проблемы

Оценка программы «Houston Parent-Child Development Center Program» (cp. Johnson, 1988), которая предназначена для улучшения школьной успеваемости, для снижения частоты поведенческих расстройств и укрепления здоровья детей из бедных мексикано-американских семей; программа предусматривала 2-летнюю интервенцию.

Метод

-План эксперимента. Осуществлялся план контрольных групп с рандомизированным распределением по группам; измерение проводилось многократно (пре-, пост-, 1-е катамнестическое и 2-е катамнестическое) при использовании различных измерительных инструментов и источников данных. Вначале программа была направлена на годовалых детей. В течение восьми лет ежегодно набиралась одна когорта из 100 семей. Эти когорты были сопоставимы по релевантным переменным и одинаковы по половому составу годовалых детей.

- Методы обследования. Постизмерение предусматривало, в частности, наблюдение в видеозаписи взаимодействий мать-ребенок (Andrews et al., 1982). В 1-м катамнестическом измерении (дети от 4 до 7 лет) источниками данных были матери, а во 2-м катамнестическом измерении (от 5 до 8 лет после окончания программы) — учителя и сами дети.

Результаты

Методом мультивариантного анализа дисперсии удалось идентифицировать главные эффекты и интеракции (например, группа х пол детей). В конце 1-го катамнестического измерения оказалось, что мальчики из контрольной группы более деструктивны, гиперактивны и менее эмоционально впечатлительны («less emotionalle sensitive» — там же, S. 48), чем дети из группы, где проводилась интервенция. После 2-го катамнестического измерения контрольные дети обнаруживали среди прочего больше «acting out» [Acting out (англ.) — внешнее выражение подсознательных психических процессов. — Прим. ред.] и более импульсивное поведение; среди детей, направленных в специальные консультационные учреждения, четыре пятых были из контрольной группы.

Результаты этого скрупулезно осуществленного проекта показывают, что основная информация приобретается при такой структуре оценки, которая ориентируется на «классический» план эксперимента. И хотя многие каузальные отношения остаются неясными — например, какие элементы программы на что влияют, — тем не менее результаты позволяют обоснованно оценить возможности и границы подобного комплексного пакета программ. Теперь программа повторяется, после чего будет систематически расширена в зависимости от того, насколько подтвердятся ее результаты (ср. Johnson, 1988).

---

Аналогичные выводы (Johnson, 1988) позволяет сделать «Ypsilanti-проект» (Schweinhart & Weikart, 1988) для 3- и 4-летних чернокожих детей из бедных семей. План оценки подобен таковому в «Houston Parent-Child Development Center Program». При последнем измерении, когда «детям» — участникам этой программы было уже 19 лет, сравнение экспериментальной и контрольной групп выявляет существенные различия по некоторым важным критериям.

Авторы вычислили также соотношение затрат—пользы и доказали, что каждый доллар, инвестированный налогоплательщиком в одногодичную программу, экономит 6 долларов, т. е. на каждом участнике, который обходится примерно в 5000 долларов, экономится около 28 000 долларов, которые в противном случае были потрачены на специальное воспитание, устранение криминальных последствий, общественное здравоохранение и социальные расходы (ср. Schweinhart & Weikart, 1988).

«Task Force on Promotion, Prevention and Intervention Alternatives in Psychology» APA опубликовал несколько примеров комплексных программ (Price, Cowen, Lorion & Ramos-McKay, 1988), которым можно приписать модельный характер как в отношении их теоретического обоснования, так и в том, что касается эмпирической оценки. В этих проектах в значительной мере удалось определить относительную эффективность программного пакета и более или менее удовлетворительно решить главные проблемы комплексных первичных профилактических программ (Rosenberg & Reppucci, 1985): набор адекватных контрольных групп, использование разнородных измерительных инструментов при учете различных источников данных, а также различение и оценка краткосрочных и долгосрочных целей.