Глава 4. ОШИБКИ И КОНТРОЛЬ ПОЛЯ

Для выяснения общественного мнения сегодня принято за­давать вопросы. Большие совокупности людей без применения выборочных методов и статистических обобщений просто так не охватишь. По существу опросы — всего лишь постановка конкрет­ных вопросов перед отобранными группами людей, если форму­лировка вопросов и отбор респондентов основаны на научной базе. Но всегда ли мы правильно их задаем, а если нет, то как избежать ошибок и контролировать сам процесс анкетирования?

Вопросы, которые не надо задавать

Как бы ни был опытен и компетентен социолог, но, не определив исходных принципов, он неизбежно придет к неясным формулиров­кам вопросов и многозначным, противоречивым ответам, которые трудно интерпретировать. Даже самые безошибочные и на вид про­стые вопросы требуют тщательной проработки. Недостаточно спро­сить: «Удовлетворены ли Вы своей работой?» Нужно точно опреде­лить, что подразумевается под «работой» (условия или процесс труда, цех, предприятие или рабочее место). Надо быть уверенным, что по­нятие «удовлетворен» исследователь истолковывает точно так же, как респондент. Даже технические термины типа «фрезерный станок» или «несчастный случай» очевидны только на первый взгляд. Относить ли к «несчастным случаям» бытовые травмы или небольшие поврежде­ния (например, ушиб ноги)? На подобные вопросы социолог обязан ответить до того, как задаст свои вопросы респонденту.

Или другой пример — вопрос «Нравится ли Вам музыка?». Его нельзя считать корректным. Слово «нравится» может соответство­вать разнообразным чувствам: от тех, которые испытывают вели­кие композиторы и исполнители, когда слушают, пишут или ис­полняют музыку, до чувств человека, который любит слушать по-360

пулярные песенки, совершая субботние покупки. Подобно этому, термин «музыка» означает огромное разнообразие различных на­правлений: например, джаз, поп, народная музыка, рок, барокко, доклассическая, классика, романтизм, модерн, неоклассицизм, — а, кроме того, может иметь отношение к слушанию и исполнению, так что идентичные ответы на вопрос могут отражать совершенно различное поведение. Например, «да» для одного респондента мо­жет выражать наслаждение от пения контртенора в ранней поли­фонической венецианской церковной музыке. А для второго оно может заключаться в удовольствии прослушивания мотивчика типа «Танцуй со мной», когда он сидит за рулем своей машины¹.

Далее мы рассмотрим наиболее типичные ошибки, допускав­шиеся советскими социологами при формулировке вопросов ан­кеты, касавшихся изучения трудовых отношений.

Если мы примерно знаем, как надо строить грамотные вопро­сы, то не всегда еще знаем, как их надо формулировать. Позаим­ствуем у известного мастера демоскопических опросов Элизабет Ноэль технику комментирования вопросов, но применим ее к анализу их содержания, обобщив типичные ошибки. Вопросы мы брали из реальных анкет, разработанных академическими инсти­тутами, кафедрами вузов, социологическими лабораториями пред- приятии разных городов страны в 1970—1980-е гг. Полностью ана- лиз приведен в нашей книге².

Итак, вопросы, которые не надо задавать.

1. Можете ли Вы сказать, что со времени образования объеди­нения на Вашем предприятии (в цехе) произошли заметные, важ­ные для Вас изменения?

01. Да, произошли изменения в лучшую сторону. 02. Измене­ний заметных не произошло. 03. Произошли изменения в худшую сторону.

Комментарий. Фактически здесь два вопроса. Один об измене­ниях на предприятии, другой — в цехе. Целесообразнее так и по-ступить — сформулировать два вопроса. Подобные вопросы назы­вают двухканальными. Они требуют двух ответов, в результате чего для респондента создаются дополнительные трудности. Например, в одном вопросе ему предлагают оценить уровень цен и удобство расположения магазина.

2. Зависит ли производительность Вашего труда от взаимоот­ношений в коллективе?

01. Да, хорошие отношения помогают мне в работе. 02. Хоро­шие отношения помогают работе, но не очень сильно. 03. Отно­шения на работе не сказываются.

Комментарий. Здесь допущено несколько ошибок. Во-первых, выбрана только одна переменная (взаимоотношения), которая должна влиять на производительность. Если в анкете не предус­мотрены другие факторы (плохая организация труда, неритмич­ное снабжение и т.п.), то может сложиться впечатление, что вза­имоотношения — самый важный, если не единственный негатив­ный фактор. Во-вторых, в самом вопросе названы просто «взаимоотношения», а в ответах определяется их качество — «хо­рошие отношения». Но это разные вещи. Наконец, сделана не совсем удачная попытка построить шкалу интенсивности: «помо­гают», «не очень сильно», «не сказываются». Формулировка воп­роса и закрытий неправильная, ее вряд ли можно улучшить, по­этому от такого способа лучше отказаться.

3. Выполняете ли Вы нормы выработки?

01. Да, постоянно. 02. Не всегда выполняю. 03. Не выполняю.

4. Скажите, работаете ли Вы в течение месяца всегда с полной отдачей?

01. Да, всегда работаю с полной отдачей. 02. Не всегда рабо­таю с полной отдачей. 03. Работаю, как правило, не с полной от­дачей, мог бы работать лучше.

Комментарий. Вопросы на первый взгляд конкретные, деловые. Их относят к фактологическим, и этим своим качеством они не­редко обманывают составителей анкет. Спрашивать можно о кон­кретных явлениях, но получить в результате абстрактную инфор­мацию. Что делать с данными о постоянном выполнении нормы выработки или работе с полной отдачей, не ясно. Как интерпрети­ровать подобные факты? Сами по себе они не дают нужной инфор­мации, если не дополнены другими вопросами на ту же тему.

5. Как Вы относитесь к специальности, по которой сейчас ра­ботаете?

01. Это моя специальность по призванию, менять не собира­юсь. 02. Пока намерен работать по этой специальности. Обстоя­тельства подскажут в дальнейшем, как поступить. 03. Вероятно, изменю специальность, но решение еще не вполне созрело. 04. Твердо решил изменить специальность. 05. Затрудняюсь ответить.

Комментарий. Попытка построить пятичленную шкалу интен­сивности неудачна. Фактически пункты 02,03 и 05 означают одно и то же, только выражены различными словами. Действительно, все их можно заменить одной позицией — «затрудняюсь сказать», которая обозначает неопределенность решения, его вероятность, 362

несформированность мнения. В преобразованном виде остаются три позиции: «менять не собираюсь», «затрудняюсь сказать», «твердо решил изменить». Альтернатива «затрудняюсь сказать» в большинстве случаев означает среднюю, промежуточную позицию на шкале.

6. Как Вы выполняли свое сменное задание в последние 6 ме­сяцев?

Примечание. В третьей строчке первого столбца в оригинале явная опечатка, к сожалению, оставшаяся незамеченной состави­телями и размноженная тысячами экземпляров.

Комментарий. На первый взгляд этот фактологический вопрос более конкретен, чем сходный с ним вопрос 3 о норме выработ­ки. Однако конкретность здесь чрезмерная, практически не под­дающаяся разумной интерпретации. Чрезмерная эмпиричность нередко превращается в свою противоположность — бессмыслен­ную абстрактность. Для интереса попробуйте построить производ­ственный профиль рабочего, который месяц назад выполнял за­дание (норму) на 100%, три месяца назад — на 90%, шесть меся­цев назад — на 110% (пропускаем промежуточные значения), и сказать, чем он отличается от другого рабочего, который справ­лялся с заданием месяц назад на 110%, три месяца назад— на 100%, шесть месяцев назад — на 100%. Существенная между ними разница или нет и что дает такого рода информация? НакЬнец, для респондента затруднительна табличная форма вопроса.

7. Как Вы оцениваете роль труда в жизни советского человека?

01. Труд — потребность человека, основа утверждения челове­ческого достоинства. 02. Труд — источник богатства Родины и благосостояния каждого гражданина. 03. В труде формируются гражданские качества личности. 04. В труде человек становится настоящим человеком: мастером своего дела, творцам, личностью. 05. Добросовестный труд расширяет границы свободы и незави­симости советского человека. 06. Какое-либо другое мнение. 07. Затрудняюсь ответить.

8. Оказываете ли Вы лично бескорыстно помощь товарищам по работе?

01. Да, когда вижу в этом необходимость. 02. Да, когда меня об этом попросят. 03. Не оказываю помощи.

Комментарий. Примеры 7 и 8 — образцы демагогических воп­росов. Первый составлен, по существу, из газетных передовиц, ло­зунгов, стереотипов времен застоя. В 60—70-е гг. подобные вопро­сы были очень распространены. Если вдуматься, то в них ни о чем не спрашивается и не утверждается. Подобные этим риторические вопросы никакой, даже отрицательной, информации не дают. От респондента лишь требуется согласие с общественно одобренны­ми ценностями, и в большинстве случаев горе-исследователь такое согласие получает, но новых знаний не прибавляет.

Альтернативы, содержащие негативное отношение к труду, в первом вопросе не даны, они скромно подразумеваются под на­званием пункта анкеты «Какое-либо другое мнение». И хотя этот вопрос составлен в академическом институте, он не выдерживает никакой критики. Второй вопрос также является лжевопросом. К подобного рода вопросам относится и другой, столь же попу­лярный: «Получаете ли Вы от повседневно выполняемой Вами ра­боты моральное удовлетворение?» Нужно сказать, что распрост­ранившаяся в свое время «моральная социология» использовалась для одной цели: приукрашивания действительности. Для целей на­учного анализа и разработки конструктивных рекомендаций она бесполезна.

9. Если Вас не удовлетворяет существующая система премиро­вания, то почему?

01. Небольшая сумма премий. 02. Неправильно выбраны по­казатели, за которые начисляется премия. 03. Показатели реаль­ные, но нет условий для их выполнения. 04. Вся система преми­рования слишком сложна, в ней трудно разобраться. 05. Система премирования неплохая, но ее часто нарушает администрация.

Комментарий. Это совершенно другой вопрос, и по-своему он интересный. Во всяком случае, поставлена реальная проблема и предложены пути ее решения в виде устранения причин, указан­ных в ответе. Респонденту остается выбрать. Однако в таком виде вопрос не срабатывает. Почему? Правильно перечислены объек­тивные недостатки премирования — значит, все они действуют. Тогда зачем выбирать только один? Может случиться, что и сум­ма премии мала, и показатели начисляются неправильно, и адми­нистрация их нарушает, ссылаясь при этом на отсутствие условий. Все вместе это делает систему премирования слишком сложной. Итак, выбраны все пункты, для чего тогда нужен вопрос?

Наглядный пример неправильной формулировки приводит в своей статье известный петербургский социолог Г. И. Саганенко. Она позаимствовала его из всесоюзного исследования «Экология» и дала свой комментарий. Вопрос, в котором респонденту нужно было сделать выбор, звучал так: «Какое из следующих суждений в наибольшей степени соответствует Вашему мнению:

♦ природа священна, потому что она создана Богом;

♦ природа священна сама по себе;

♦ природа имеет большое значение, но она не священна;

♦ затрудняюсь ответить?»

Здесь не только просматривается «хороший ответ», но факти­чески предложена одна «альтернатива» — иметь священное отно­шение к природе (или буквально возражать против него). Для многих людей с вполне определенным отношением к природе ни та, ни другая постановка ответа в принципе не подходят.

Существует целая группа вопросов, которые не обязательно включать в анкету, так как необходимую информацию можно взять в отделе кадров или в заводской документации. Например: «Повысился ли в текущем году Ваш заработок?», «Задерживали ли Вам выдачу зарплаты в текущем году?» и т.д.

Лишние вопросы, информацию на которые могут дать эксперты или работники заводоуправления, раздражают респондентов, при этом впустую расходуется драгоценное время и место в анкете, на­конец, они свидетельствуют о неподготовленности социолога как организатора исследования. Когда составлен план будущего опроса, четко сформулированы темы и сами вопросы, на отдельном бланке надо составить схему источников информации: кто о чем и когда может дать необходимые сведения. Существует определенное пра­вило: меньше заставляйте работать ваших респондентов и не пере­кладывайте на их плечи те задачи, которые должны решать вы сами.

Неясные формулировки вопроса объясняются следующими причинами:

1) некомпетентностью социолога;

2) излишней поспешностью при составлении анкеты;

3) заимствованием чужих вопросов и некритическим к ним отношением;

4) отсутствием хорошо составленной программы, четких целей и задач исследования, неумением операционализировать понятия.

Ошибки, допускаемые при формулировании анкетных вопро­сов, оказывают серьезное влияние на качество получаемых от рес­пондента данных и на последующую интерпретацию их ученым.

Наведением методического порядка на опросном фронте пер­выми занялись американцы в первой половине XX в. Поводом

послужили грубые методические просчеты. Классический при­мер — ошибка в предвыборном прогнозе журнала Literary Digest в 1936 г., составившая 19%. Причины коренились в том, что выбор­ка строилась, во-первых, на номерах телефонов, которые имели далеко не все избиратели, а во-вторых, только на респондентах, пожелавших участвовать в опросе. Но еще больше просчетов ока­залось при формулировке вопросов. В том же году группой экс­пертов проблема формулировки вопроса была названа важнейшей причиной получения недостоверных данных. Самуэль Стауфер назвал ее проблемой Номер Один в социологии. По данным Хо-варда Ховта, ³/₄ экспертов указали на формулировку вопросов как на главного виновника искажения данных. Оказывается, помехи, вызываемые другими источниками, скажем неправильной выбор­кой или неверным методом сбора информации, происходят гораз­до реже, нежели искажения переменных, связанных с различны­ми способами формулировки вопроса³. С тех пор американцы придают огромное значение обучению студентов-социологов пра­вилам формулирования анкетных вопросов и их влиянию на рас­пределение ответов. Плох тот социолог, кто со студенческой ска­мьи не научился грамотно строить анкету.

4.2. Хорошие и устойчивые вопросы

Хорошим вопросом принято считать такой, формулировка ко­торого значимо не влияет на распределение ответов при сохране­нии списка (но не порядка) альтернатив. Методические экспери­менты указывают на значительные отклонения, которые могут по­явиться в связи с изменением формулировки. К примеру, спросить рабочих о том, сколько представителей наемного труда должно быть вовлечено в профсоюзы, можно двумя различными способами:

Первый вариант:«Считаете ли Вы, что на предприятии все ра­бочие должны быть членами профсоюза?»

Второй вариант:«Считаете ли Вы, что на предприятии все ра­бочие должны быть членами профсоюза или каждый в отдельно­сти должен решить, хочет ли он быть членом профсоюза или нет?»

На первый взгляд между ними нет принципиальных различий, поскольку спрашивают о профсоюзе как основном институте защи­ты прав трудящихся. Однако в первом случае подчеркивается факт 366

коллективного участия в профсоюзной борьбе, отлынить от кото­рого либо нельзя, либо неудобно. Любой рабочий, находящийся в поле классового противостояния и солидарно действующий с дру­гими рабочими, никогда не пойдет против профсоюзов, даже если не согласен с его политикой или руководством. Общественное мне­ние его класса и стереотипа пролетарского сознания подействуют на его выбор императивно, а не сослагательно. Можно ожидать 70— 90%-ного согласия с вопросом, сформулированным таким образом.

Однако во втором случае респонденту предоставляется возмож­ность поразмышлять. Коллективной солидарности и классовой сплоченности противопоставлена другая, не менее сильная цен­ность — американская свобода выбора и высоко ценящийся ин­дивидуализм. Профсоюз как коллективный выразитель солидар­ной воли пролетариата противопоставлен общенациональному менталитету, и не известно, кто окажется в выигрыше. Во всяком случае, очевидно, что свою историческую схватку с капиталом американские профсоюзы уже проиграли: кривая численности членов профсоюзов в США с каждым годом снижается и сегодня дошла до критической отметки приблизительно 10%.

Таким образом, изменение формулировки одного и того же вопроса, приводящее к разным, а в данном случае противополож­ным результатам, свидетельствует о том, что перед нами анкет­ный вопрос, который нельзя считать хорошим с методической точки зрения.

Смещения в ответах наблюдаются и в других вопросах. Допус­тим, одну и ту же переменную «занятость в общественном произ­водстве» мы конкретизировали двумя разными путями.

Первый вариант:«Предпочли бы Вы иметь работу, если бы это было возможным?»

Второй вариант:«Предпочли бы Вы иметь работу или Вы пред­почитаете заниматься своим домашним хозяйством?»

Как и в рассмотренном выше примере, второй вариант форму­лировки вопроса содержит свободу выбора: респонденту предлага­ют наняться на постоянную работу или заниматься своим домаш­ним хозяйством. Оказалось, что, когда в анкету ввели вторую фор­мулировку, распределение ответов изменилось на 50%. Такое смещение надо считать весьма значительным. Выявились и другие, не менее любопытные подробности. Появление второй формули­ровки снизило число выборов «затрудняюсь ответить» с 36 до 6%⁴.

Видимо, многие, предпочитавшие не наемный труд, а занятость в домашнем хозяйстве, укрылись в рубрике «затрудняюсь ответить» потому, что в первом варианте они не увидели желанной для себя альтернативы, связанной с домашним хозяйством. Правомерно ли говорить о статистической валидности социологических данных, когда появляются такие смещения?

Методические исследования, проведенные американскими со­циологами, выявили ряд тенденций, связанных с формулировкой и формой представления анкетного вопроса. В одном из экспери­ментов изучалось влияние на распределение ответов порядка рас­положения альтернатив в вопросе-меню. Что произойдет, если, скажем, альтернативу переместить из начала в конец списка?

Всякий раз чаще выбиралась та альтернатива, которая стояла в верхней части или возглавляла список. Расположенные внизу под­сказки пользовались меньшим вниманием и выбирались реже. Ученые назвали это явление эффектом начала списка. Как прави­ло, верхняя позиция опережала нижнюю на 4%, а среднюю на 6%; нижняя опережала среднюю позицию примерно на 2%.

В результате середина списка как бы проваливалась. Она была наименее заметной, можно сказать, теневой зоной списка альтер­натив. В итоге наблюдалось стремление респондентов к выбору альтернатив, находящихся на крайних позициях с некоторым пре­имуществом верхней позиции. Назовем подобный эффект поля­ризацией ответов со смещенным верхом.

В знаменитом опросе общественного мнения «Правда-76» (рук. Б.А. Грушин) провели любопытный эксперимент: на двух равных выборках в пяти вопросах давали респондентам два типа шкал — прямая и обратная. Порядок альтернатив в них менялся на про­тивоположный, но это было заметно профессионалу и почти не­приметно простому человеку.

Что же обнаружили советские социологи? Во-первых, во всех пяти вопросах при прямой шкале процент не ответивших, хотя и незначительно, был ниже, чем при обратной шкале. По всей ви­димости, прямая шкала воспринималась как более естественная и привычная, процент активности респондентов здесь был выше. Во-вторых, при сравнении двух шкал оказалось, что высказыва-368

ния, стоящие на крайних верхних позициях, т.е. «очень удовлет­ворен» и «очень не удовлетворен»,набирают большее число отве­тивших, чем когда они стояли внизу. Таким образом, в шкальных вопросах действовал «эффект начала», существовавший в вопро­сах-меню.

А вот еще один поразительный пример. В нем ученые сравни­ли две почти одинаковые по сути формулировки анкетного воп­роса. Они различались, во-первых, длиной, во-вторых, повторе­нием в самой формулировке того, что говорилось в одном из при­данных ему закрытиях. Сравним и мы:

Первый вариант:«Считаете ли Вы, что большинство компаний, которые увольняют рабочих в период спада, могли бы организо­вать что-то для избежания увольнения и предоставления рабочим стабильной работы?»

63% ответили, что компании могли бы избежать увольнения;

28% сказали, что не могли бы;

15% не имели определенного мнения.

Второй вариант:«Считаете ли Вы, что большинство компаний, которые увольняют рабочих в период спада, могли бы организо­вать что-то для избежания увольнения и предоставления рабочим стабильной работы, или Вы считаете, что увольнения неизбежны?»

35% сказали, что компании могли бы избежать увольнений;

41% сказали, что увольнения неизбежны;

24% не сделали выбора.

Отличие второго варианта от первого выделено курсивом. Вро­де бы оно незначительно, всего лишь одна фраза: или Вы считае­те, что увольнения неизбежны?

Но как изменилась статистика ответов! Вербализация проти­воположной точки зрения снизила результат утвердительной час­ти вопроса на 28%⁵.

Кажется, излишним дублировать в постановочной части анкет­ного вопроса тот текст, который содержится в списке альтернатив к нему. Но так ли это на самом деле, показал упомянутый методи­ческий эксперимент. Его мораль такова: если разработчик анкеты в формулировке вопроса называет все точки зрения (позиции, мне­ния, ценности и т.п.), то их, не пропуская ни одной, следует про­дублировать в списке закрытий. Список альтернатив должен быть исчерпывающим, если мы хотим закрыть все имеющиеся возмож­ности для ответа и тем самым сбалансировать вопрос.

Выше говорилось о том, что признавать хорошим вопросом. На­помним, речь шла о списке альтернатив. Порядок следования аль­тернатив в списке характеризует другой критерий —устойчивости.

Устойчивым вопросом является тот, в котором перемена аль­тернатив не оказывает значительного влияния. Если перемена альтернатив дает достаточно большой сдвиг, то вопрос считают неустойчивым. Незначительным признан сдвиг в 1—3%. К при­меру, если порядок следования альтернатив значительно изменен или даже перевернут, а статистика ответов на него изменилась лишь на 2%, то вопрос считается устойчивым.

Колебание разницы в ответах от 4 до 8% признается статисти­чески значимым, а соответствующие вопросы неустойчивыми.

Методисты уверяют, что формулировка вопроса влияет на ста­тистику ответов максимальным образом именно тогда, когда у респондентов не сформировалось устойчивого мнения о предме­те разговора.

Наибольшая длина хорошо уравновешенного или устойчивого вопроса составляет 26 слов, в то время как наименьшая — только 11 слов. Напротив, длина неустойчивых, несбалансированных вопросов варьируется в пределах от 21 до 46 слов. В среднем не­сбалансированные вопросы в полтора раза длиннее устойчивых: 31 слово к 22. Если считать только слова, используемые в альтер­нативах, исключая вводную часть или установочные фразы, то и в этом случае указанная пропорция сохраняется. Альтернативные суждения в неустойчивых вопросах в полтора раза длиннее, чем в устойчивых. Таким образом, один из главных элементов устойчи­вости вопроса заключается в его краткости.

Неустойчивые вопросы не только длиннее устойчивых, но со­держат грамматически более сложные слова. Отсюда вытекает практический совет социологу: формулируй свои мысли не толь­ко кратко, но и просто, иначе проиграешь в качестве получаемой информации.

Новый подъем интереса к внутрипрофессиональным делам со­циологов наблюдался в 1960—70-е гг., когда в США происходи­ло активное обсуждение таких аспектов, как методические осо­бенности использования открытых и закрытых вопросов, влияние альтернатив, порядка их расположения, отсутствия градации «нет ответа» на распределение ответов респондентов и др. из крупных исследовательских центров, которые могут финансировать специ­альные обследования на достаточно больших выборках (от 1,5 до 2,5 тыс. респондентов), стали появляться многочисленные публи­кации, обобщающие методический опыт, проекты, наработки. Уче­ные в таких центрах проводят как специализированные методичес-370

кие эксперименты, «обкатывая» формулировки вопросов из своей, исследовательской копилке, так и вторичный анализ данных, в которых использовались сходные формулировки вопросов.

Большая работа была проделана университетами Мичигана и Северной Каролины. Исследование проводилось дважды — в ян­варе и апреле 1979 г. Было выбрано два вопроса, показавших в 1940-х гг. наиболее значимые различия в ответах. Теперь уже был зафиксирован эффект конца списка. Он гласил, что в вопросах, произносимых вслух, респондент чаще выбирает альтернативу, стоящую в конце списка. Возможно, респонденты лучше запоми­нают слова, услышанные в последнюю очередь. Данные психоло­гических экспериментов свидетельствуют о том же самом. Когда в формулировке вопроса у вас содержатся две идеи, лучше всего респондент запомнит и поймет последнюю. Она же окажется для него более притягательной, а стало быть, и более выбираемой⁶.

В СССР и в России интерес к методической культуре анкети­рования был, но не было денег на проведение массовых экспери­ментов, призванных совершенствовать исследовательский инст­рументарий. Крупные исследовательские центры, работающие с большими выборками, например ВЦИОМ и ФОМ, могли бы про­водить серьезные методические эксперименты, но не проводят. Большинство анкетных вопросов используются ими по многу лет, поскольку они не давали серьезных сбоев; таким образом, сам по себе стаж служит критерием надежности вопроса. Кроме того, частая смена формулировок могла и повредить ученым: вопросы-ветераны, обкатываемые во всех исследованиях, вносят единооб­разие и позволяют сравнивать данные исследований разных пе­риодов. Зачастую критерием адекватности вопроса (созданного в середине 90-х гг.) остается только доля затруднившихся ответить, и если она невелика (порядка 15-20%), исследователи предпочи­тают не проводить специальных экспериментов и не менять фор­мулировки. «Менее крупные исследовательские коллективы ори­ентируются на экономию средств заказчиков, которыми выступа­ют организации, выдающие гранты, или отдельные фирмы. Из-за ограничения бюджета исследования возникают сложности с серь­езной апробацией вопросника, которая зачастую не проводится вообще. В результате непилотированные вопросники содержат ошибки, количество которых не поддается исчислению. Некото­рые из ошибок, обнаруживаемых даже при логическом анализе

вопросов, приводят к серьезным смещениям в полученных дан­ных, хотя способов проверить коммуникативную адекватность и точность формулировки вопроса наработано достаточно много. При этом большинство из них затратны, требуют значительных материальных и временных ресурсов»⁷.

4.3. «Эффект имени» при формулировке вопросов

Специалисты, профессионально занимающиеся методически­ми экспериментами, давно предупреждают социологов, работаю­щих над конструированием анкет, что респонденты чувствитель­ны к любым, даже малейшим, нюансам в формулировке вопроса. И это представляет для них чрезвычайную опасность. Был состав­лен особый список так называемых формулировочных эффектов, куда помимо прочего вошли привлекательность средней альтер­нативы, роль вопросного формата и контекста, влияние эмоцио­нально тонированных слов, в том числе и политико-идеологичес­ких ярлыков. Среди них не последнее место, особенно в полити­ческих рейтингах, занимает «эффект имени» — влияние на ответ респондента известной фамилии. Еще в середине XX в. на свет появилось методическое правило, согласно которому исследова­телям при составлении вопросников рекомендуется избегать упо­минания авторитетных личностей и организаций.

Первыми «эффект имени» в формулировке вопроса обнаружи­ли и изучили в 1930—1940-е гг. американские социологи И. Лодж, С. Стагнер, Д. Рагг и X. Кантрила. Как оказалось, использование в опросах популярных имен ведет к серьезным искажениям резуль­татов. Когда респондентов просили высказаться о необходимости помочь Англии и Франции со стороны США, то многие колеба­лись. Но когда в другой раз добавили фразу «...в их борьбе против Гитлера», число положительных ответов возросло с 13 до 22%⁸.

Аналогичные результаты в 1977 г. получили Г. Шуман и С. Прес-сер. Они провели методический эксперимент, в котором участво­вали студенты Мичиганского университета. Результаты получились более чем любопытные. Сравнивались ответы на два почти похо­жих вопроса об уровне преподавания со стороны профессоров. Только в одном из них в преамбуле к вопросу сообщалось, что пре-372

зидент университета не так давно заявил, что ему якобы нередко' приходится слышать жалобы студентов на низкое качество профес­сорских лекций. «Эффект имени» не заставил себя ждать: после знакомства с мнением своего ректора мало кто из студентов не за­хотел с ним согласиться⁹.

Согласно выводам Г. Шумана и С. Прессера, имена известных политиков, встроенные в формулировки вопросов, обладают не только большой эмоциональной силой, но и мощным информа­ционным потенциалом. Они помогают определиться с мнением и избавиться от затруднений при выборе ответа.

В 1998 г. социологи из Ивановского госуниверситета (под рук. А.Ю. Мягкова) провели методический эксперимент. Из квотной выборки общим объемом 200 человек, репрезентировавшей взрос­лое население Иванова по полу, возрасту и роду занятий, были сформированы две одинаковые по численности и выровненные по структуре группы — контрольная и экспериментальная. Первую группу респондентов просили ответить на ряд вопросов, не содер­жавших в формулировках ссылок на мнения известных российс- ких политиков и государственных деятелей. В анкетах, предла­гавшихся второй (экспериментальной) группе, те же самые вопросы-суждения «привязывались» к конкретным фамилиям (Б. Ельцина, В. Жириновского, А. Лебедя и А. Чубайса). Политические выска­зывания были отобраны из периодических изданий. Данные, по­лученные в ходе исследования, показывают, что в трех из пяти случаев респонденты все-таки реагировали на известные фамилии. Однако реакции на различных авторов оказались разными. Упо­минание в вопросах авторитетных людей, как правило, способ­ствует увеличению поддержки высказываемых ими мнений. В то время как ссылка на одиозную личность, напротив, уменьшает; число сторонников предлагаемых ею идей. Увеличение и умень­шение колебалось в диапазоне от 5 до 12%. Материалы исследо- вания свидетельствуют, что «эффект имени» в социологических опросах встречается довольно часто. Испытуемые нередко меня- ют свои ответы в зависимости от автора высказывания. Нередко имена производят эффект «замещения» источников мнений. Иногда фамилии знаменитостей выполняют образовательную функцию, но чаще способствуют формированию пристрастных политических мнений¹⁰.

Несмотря на все запреты и предостережения, многие социологи по-прежнему используют престижные имена и названия органи­заций для идентификации политических позиций. Известное имя, например Жириновского или Явлинского, для респондентов, пло­хо разбирающихся в политических тонкостях, помогает более ясно сформулировать свои предпочтения. В этой ситуации «эффект имени» выполняет позитивную функцию. Но имя может сыграть негативную роль, если с его помощью оказывается давление на респондента, который не уверен в своем мнении или еще не оп­ределился, кого поддерживать. В подобных случаях респондент выбирает не формулировку политической позиции партии, а по­пулярное имя, которое ему нравится. Правда, в прошлом, как от­мечают специалисты, именные формулировки использовались гораздо чаще, чем сегодня.

4.4. Ошибки анкетера и контроль поля

Социолога-эмпирика почти за каждым углом поджидают ра­зочарования, непредвиденные затруднения, созданные им самим и возникшие не по его вине ошибки. Многие из них относятся к разряду «ошибки выборки». Они рассматриваются в самостоятель­ном разделе. Здесь мы поговорим о других ошибках, а именно тех, которые связаны не с предварительным этапом, когда рассчиты­вается выборка, когда совершается, особенно неопытным социо­логом, масса ошибок, а с проведением самого поля, т.е. полевого исследования. Оно начинается с инструктажа анкетеров (интер­вьюеров), снабжения их анкетами и распределения анкетеров по объектам. Но самое интересное и непредсказуемое приключение начинается с того момента, когда анкетеры встречаются непосред­ственно с респондентами — по месту работы, отдыха, жительства.

Выявление ошибок, контроль за поведением анкетеров (интер­вьюеров) и коррекция допущенных ошибок получили название контроля поля. Ошибки, связанные с организацией и проведени­ем поля, в дальнейшем будем называть ошибками поля.

Ошибки поля имеют следующие разновидности: 1) ошибки заполнения анкеты; 2) ошибки сбора данных; 3) ошибки обра­щения с полученными данными; 4) ошибки анализа собранных данных; 5) ошибки интерпретации полученных результатов. Кро­ме того, существуют ошибки, обусловленные нечетким выявле­нием проблем, использованием неоднозначных терминов и т.п. Ошибки поля можно разделить на две большие группы: а) ошиб­ки анкетеров (интервьюеров) и б) ошибки респондентов. Кроме 376

371

опрос в данной выборочной совокупности с помощью других ан­кетеров. Но это в идеале, а на практике — дефицит времени, ма­териальных и людских ресурсов. Кроме того, если одних и тех же людей опросят другие анкетеры, то это не значит, что они дадут те же ответы. Они могут быть другими. Но кто виной тому — бо­лее тактичный интервьюер или изменившееся отношение к опросу самих респондентов?

В принципе эту погрешность можно было бы уменьшить, уве­личив число повторных посещений с трех до восьми-девяти, как делают западные социологи. Однако это привело бы, во-первых, к значительному увеличению расходов на проведение полевых работ, а во-вторых, к увеличению сроков проведения поля, — справедливо полагают Е.В. Козеренко и С.Г. Новиков¹².

Когда переспросить тех же респондентов другими анкетерами или устранить проблему при помощи повторных посещений нельзя, применяют вторую процедуру — перевзвешивание данных. Суть ее состоит в следующем: с помощью эмпирически найденных весов так скорректировать данные, чтобы влияние смещений снизить до оптимальных пределов. Величина смещения находится либо с по­мощью экспертного опроса, либо как отклонение средних значе­ний в подвыборках от среднего значения по всему массиву¹³.

Жестких правил в данной области не существует, правила ос­нованы на традициях, опыте и т.п., т.е. на неформальных подхо­дах к определению того, какие анкеты пригодны для последую­щего анализа, а какие нет. Поэтому лучше ужесточить контроль за сбором данных, уменьшив таким образом проблемы предвари­тельной оценки собранных данных.

Наиболее распространенная форма контроля качества работы интервьюера (анкетера) — выборочное повторное посещение рес­пондентов. Контролеры-интервьюеры выясняют, состоялась ли беседа и с кем именно, спрашивают о содержании интервью и впе-чатлении, которое произвел интервьюер. По результатам контроля: поощряются или порицаются интервьюеры, осуществляется выб­раковка ненадежных бланков интервью. Другим способом контро-ля может быть почтовая анкета, которая рассылается респондентам, участвовавшим в опросе. В такой анкете присутствуют вопросы, подобные тем, которые задают контролеры-интервьюеры.

Фирма «УЛТЕКС Сервис А.О.», проведшая в 1994 г. исследова­ние в Москве и Московской области, Санкт-Петербурге и Ленин­градской области, Туле, Владимире и Иваново (всего опрошен 1001 респондент), осуществляла контроль качества информации после проведения опроса, связываясь с 10% опрошенных по телефону и направляя им письма. Полученные опросные листы проверялись также на правильность заполнения. Если судить по литературе, а также информации, доступной в Интернете, большинство компа­ний, занятых рекламой и маркетинговыми исследованиями, про­водит не более чем 10%-ный контроль поля методом повторного посещения или телефонным звонком. Полный, т.е. 100%-ный, кон­троль практически невозможен, так как он существенно повышает стоимость полевых работ.

В компании ГфК МР минимальная начальная квота контро­ля — 20% интервью, но она может быть увеличена, если клиент готов платить. Контроль проводится повторными посещениями, по телефону и почте. Если в процессе интервью выявляется боль­шое количество ошибок у одного и того же интервьюера, то про­водится 100%-ная проверка его анкет. По результатам проверки составляется протокол, и нерадивые интервьюеры штрафуются в меру их нерадивости (до 100% штрафа). С ними компания расста­ется, а их фамилии заносятся в «черный список». Такая же схема применяется для региональных супервайзеров, но их штрафуют за суммарный процент ошибок в своем регионе¹⁴. По результатам работы за определенный период лучшие интервьюеры премиру­ются. Центр бизнес-информации, социологических и маркетин­говых исследований BISAM Central Asia, который ориентируется в своей деятельности на международные стандарты ESOMAR, про­водит контроль как минимум 25% завершенных интервью по спе­циально разработанным контрольным вопросам; осуществляет визуальный контроль 100% анкет; контроль ошибок ввода с по­мощью специальных программ.

В Аналитическом центре «Бизнес и маркетинг» после заверше­ния исследования проводится обязательная многоступенчатая проверка качества полевых работ. Первым шагом является ручная проверка полноты и качества информации, содержащейся в ан­кетах, а также выборочная проверка 3-4 анкет каждого интервью­ера на наличие «галло-эффекта» (психологический эффект повто­ряемости ответов на похожие по форме вопросы). На этом этапе контроль осуществляют специально назначенные сотрудники по­левого отдела, ответственные за данный проект. В этот момент

методом случайного отбора сотрудниками полевого отдела, не участвующими в проекте (это необходимо для обеспечения объек­тивности), проводится телефонный контроль 10—25% опрошенных респондентов (процент варьируется в зависимости от размера выборки — при малых размерах есть возможность проконтроли­ровать больший объем) на предмет соответствия социально-демо­графических характеристик респондента квотам (целевой группе)¹⁵.

На третьем этапе, который проводится параллельно со вторым, осуществляется сплошная компьютерная сверка данных на соот­ветствие логике (валидность) и взаимоисключаемость ответов. Осуществляют ее сотрудники отдела обработки. В случае если для опроса применялись методы CATI или CAPI(интервьюирование с использованием компьютерных технологий), часть работы по проверке на валидность проводится интервьюером уже на этапе проведения интервью. Заказчик может, при желании, принять непосредственное участие в проведении контроля исследования совместно со специалистами фирмы¹⁶.

Однако современные методы не всегда лучше тех, которые ис- пользовались нашими предшественниками 50 лет назад. 3 ноября 1951 г. Совет Министров СССР принял постановление об улуч­шении организации обследований бюджетов рабочих, служащих и колхозников. В постановлении отмечалось, что основной зада­чей ЦСУ СССР в области бюджетной статистики следует считать. разработку данных о бюджете квалифицированных и малоквали-фицированных рабочих по отраслям промышленности, тружени­ков совхозов и колхозов по производственным направлениям и экономическим районам. Метод контроля поля можно проследить лишь на одном регионе — Сибири. Здесь в 1950-е гг. бюджетны-ми наблюдениями, а это самый трудоемкий вид эмпирического исследования, было охвачено более 1 тыс. человек. Сбор бюджет-ной информации осуществляли специально подготовленные со-трудники статистических управлений. За каждым из них было. закреплено 20—25 рабочих семей, которые он посещал не менее двух раз в месяц. Обследуемые семьи вели вспомогательные за-писи, где ежедневно регистрировали все данные о доходах, рас- ходах и потреблении. Бюджетный бланк заполнялся статистиком путем опроса взрослых членов семей с учетом сделанных ими за­писей. Кроме того, использовался ряд документов: пенсионные книжки, квитанции об оплате жилплощади и коммунальных ус­луг, различные расчетные ведомости. Каждое предприятие, где

работали члены обследуемых семей, предоставляло статистичес­ким органам сведения об их заработной плате, полученных пре­миях, пособиях, количестве отработанных дней и др. Правиль­ность данных, вносимых статистиком в бюджетный бланк, не реже двух раз в квартал проверялась контролерами областных статис­тических управлений и инспекторами ЦСУ СССР¹⁷.

Американские специалисты по методике политологических ис­следований Дж. Мангейм и Р. Рич¹⁸ дают следующие советы. В случае почтового опроса каждая возвращенная анкета должна быть вскрыта, проверена на предмет правильности ее заполнения и подшита в общий комплект (файл). Каждой анкете должен быть придан серийный номер, так чтобы впоследствии можно было легко установить время ее возврата. Число анкет, поступивших за день, должно отмечаться в особом журнале, чтобы исследователь имел возможность следить за ходом возврата анкет. Если по возвращен­ной анкете можно установить личность респондента, то исследо­вателю следует фиксировать поступление анкет таким образом, что­бы при этом выявлялись возможные диспропорции в ходе их возврата. Если выяснится, что какая-то географическая или демог­рафическая группа респондентов очень пассивно отвечает на анке­ты, то может понадобиться лишний раз напомнить им об опросе — иначе выборка может стать нерепрезентативной. Вдобавок к этому просматривание поступающих анкет помогает обнаружить прома­хи, допущенные респондентом, например пропуск последней стра­ницы инструмента или неверное прочтение инструкции в той ее части, где говорится, как следует отмечать нужные пункты анке­ты. Последующий телефонный звонок или уточняющее письмо (в случае не анонимного опроса) может помочь спасти анкету, ко­торую иначе придется признать недействительной.

В процессе проведения анкетирования или личных интервью руководитель проекта должен постоянно проверять выполнение порученного дела. Один из эффективных способов — выслушивать устные отчеты возвращающихся с объекта интервьюеров. Руково­дитель также проверяет заполненные бланки интервью или анке­ты с целью определить: 1) те ли люди (те ли семьи) были опро­шены; 2) все ли опросные листы были заполнены и возвращены;

3) указаны ли в путеводителе дата и время проведения интервью;

4) проставлены ли в бланке код интервьюера и опознавательный

номер респондента; 5) для всех ли отказов давать интервью изло­жены соответствующие причины и везде ли, где надо, отмечена договоренность о сроке дополнительного визита к респонденту (если во время первого визита интервьюера респондент почему-либо был недоступен). При телефонном опросе у руководителя поля есть дополнительные возможности: тайно прослушивать выборочные интервью. Эта мера усиливает у интервьюеров чув­ство ответственности, а также помогает обнаруживать и устранять недочеты, допускаемые ими в ходе применения инструмента¹⁹.

Контрольная проверка важна не только при анкетировании, но и при других формах опроса, например, когда интервьюер — в слу­чае его недобросовестности — получает возможность незаметно сфальсифицировать результаты интервью, да и добросовестный интервьюер может ошибиться, опросив не того, кого надо. Бывали случаи, вспоминают Дж. Мангейм и Р. Рич, что непрофессиональ­ные интервьюеры, чтобы избежать долгих хождений, сочиняли вымышленные интервью, а приходящие няни выдавали себя за хозяев-респондентов. Контрольная проверка позволяет исследова­телю устранить ошибки этого типа и удостовериться в том, что выборка формируется согласно установленной процедуре²⁰.

Контроль результатов личного интервью обычно сводится к дополнительной встрече (разговору) с тем или иным респонден­том с целью определения: 1) имело ли место интервью на самом деле; 2) все ли вопросы задал интервьюер, и все ли ответы он пра­вильно записал. Чтобы это выяснить, спросите респондента, ког­да имело место интервью и сколько приблизительно оно длилось. Если респондент подтвердит факт проведения интервью, попро­сите его ответить еще раз на два простых вопроса (взятых из се­редины и из конца интервью) под тем предлогом, что его перво­начальные ответы были записаны неразборчиво. Надо сверить новые ответы с теми, которые были зафиксированы ранее.

Раздел III

ОПРОСНЫЕ

МЕТОДЫ