Типичные систематические ошибки выборки и способы отбора единиц

Давление доступных объектов. Иллюзия постоянства. Недостаточный учет аномальных и труднодоступных единиц. Отказы от ответа. Способы отбора единиц исследования. Вероятностный отбор; районирование; гнездовой отбор; систематический отбор; квотный отбор; стихийный отбор.

Первая и наиболее часто встречающаяся ошибка заключается в давлении доступных объектов. В результате происходит необоснованная экстраполяция реального объекта на проектируемый. В выборке «Литерэри Дайджест» возможности доступа к респондентам, предоставляемые телефонными справочниками и регистрационными карточками автовладельцев, снизили у исследователей чувство опасения перед ошибкой. При использовании прессового опроса, когда на

опубликованные в газете вопросы отвечают те, кто захотел отвечать и взял на себя труд вернуть анкету обратно, давление доступных объектов ощущается особенно сильно. При уличном опросе интервьюеры будут вынуждены беседовать с теми, кто согласится отвечать на вопросы.

Другой пример систематической ошибки, которая войдет в историю социологических обследований. Причины этой ошибки остаются не вполне ясными, но роль давления доступных данных несомненна. В декабре 1993 г. в России проходили выборы в Федеральное собрание. Многие социологические службы осуществляли массовые опросы и давали ориентировочные прогнозные оценки относительно исхода голосования. Результаты голосования показали, что данные опросов существенно отклоняются от реальных предпочтений избирателей. Так, за партию «Выбор России», поданным Центральной избирательной комиссии, проголосовали 15,74% населения. Самооценка партий и политических блоков, осуществленная в начале ноября, показала цифру 38%. По данным Института социологии РАН (В.А. Мансуров), за «Выбор России» собирались голосовать 25,4%. Институт социальных технологий «Социограф» Российской академии управления (В.М. Соколов) получил достаточно близкую к истинной цифру: 13%. Институт социально-политических исследований РАН на основе опроса 1650 человек в 9 регионах России 20 ноября 1993 г. точно предсказал результат голосования по «Выбору России»: 15%.

За Либерально-демократическую партию России проголосовало 23,21% избирателей. Но ни одна из социологических служб не получила данные о собирающихся отдать свои голоса за ЛДПР больше чем 9,9% (Институт социологии РАН)». Если причина ошибок заключается в погрешностях выборки, то такая погрешность была допущена всеми социологическими службами. Можно предположить, что на результаты опросов оказали давление политически информированные, активные респонденты, имеющие свое мнение о кандидатах в законодательный орган. Масса «пассивных» респондентов, по всей вероятности, не обнаружила своих политических предпочтений в ходе опросов, а на выборах отдала голоса Жириновскому, фигура которого трактовалась демократически настроенными аналитиками как одиозная. Нельзя также исключить, что предпочтения избирателей стали резко меняться за неделю до голосования. Как показали А. Ослон и Е. Петренко, избиратели, затруднившиеся с ответом за неделю до

¹¹ Дмитриев А.В., Тощенко Ж.Т. Социологический опрос и политика // Социологические исследования. 1994. № 5. С. 44.

выборов и, следовательно, принявшие свое решение накануне выборов, резко изменили соотношение сил в пользу Либерально-демократической партии России в группах служащих, рабочих, пенсионеров¹².

Причины таких сдвигов остаются неясными. Нельзя исключить ни массированного воздействия средств массовой информации, ни антиправительственных настроений среди большинства населения, особенно в периферийных регионах страны. Давление доступных данных проявилось в том, что определенные ответы по поводу предстоящего голосования дали демократически настроенные респонденты, а консервативные, скажем, подавленные развитием капитализма в России, предпочитали долгое время сомневаться — во время выборов они обнаружили свое «против».

Второй тип систематической ошибки связан с иллюзией постоянства. В предвыборных опросах, как мы видели, иллюзия постоянства проявляется в пренебрежении группой респондентов, не имеющих определенного мнения. Ее численность, как правило, резко снижается в предвыборные дни. Далеко не все переменные устойчивы. В подавляющем большинстве случаев постоянными являются пол, социальное происхождение, группа крови, темперамент. Более лабильны семейное положение, должность и, бывает, национальность. Распределение видов деятельности в суточном бюджете времени изменяется достаточно стабильно в зависимости от времени года, пола, возраста и профессии. Например, можно с большой степенью точности сказать, сколько времени тратят пенсионеры зимой на просмотр телепередач. Социологические переменные субъективного плана — мнения, оценки, установки, намерения — меняются столь же быстро, сколь хаотично, иногда под влиянием непредвиденных обстоятельств.

Установим три группы социологических переменных: а) переменные, не обнаруживающие динамики; б) переменные с прогнозируемой динамикой; в) переменные с непрогнозируемой динамикой. В первом случае временным смещением объекта при проектировании выборки можно пренебречь, во втором случае результаты наблюдений должны экстраполироваться на проектируемый объект с некоторым упреждением — примерно так, как производится стрельба по движущейся цели (рис. 5.1).

¹² Ослон А., Петренко Е. Парламентские выборы и опросы общественного мнения в России во второй половине 1993 г.: Аналитический доклад / Фонд «Общественное мнение». М., 1994. С. 21.

Рис. 5.1. Смещение реального объекта выборки относительно проектируемого объекта по времени

Надо «накрыть» генеральную совокупность, но «накрыть» ее в том месте, где она появится через определенное время. Поскольку траектории социологических переменных изучены слабо — повторные и продолжающиеся исследования трудоемки и встречаются сравнительно редко — подобные экстраполяции выборки производятся эвристически, «на глаз», но даже в таком случае полезно фиксировать прогноз динамики переменной хотя бы в терминах «возрастет», «снизится», «будет колебаться». Образцовым остается исследование Б. Берельсона, П. Лазарсфельда и В. Макфи — они установили циклы электоральных предпочтений американцев в предвыборные месяцы и даже недели¹³. Зависимость распределения времени различных социальных и возрастных групп от будних и выходных дней, летних и зимних месяцев изучалась десятки раз, и в данном случае есть все основания говорить о хорошо прогнозируемых процессах.

Часто в социологических исследованиях динамика переменных остается непрогнозируемой и выборки в данном случае имеют эпизодический характер — т. е. сама выборка являет собой не более чем эпизод. Обычно данные о субъективных и тому подобных эфемерных и ситуативных признаках привязаны к определенному периоду и за его пределами теряют смысл. Например, «рейтинг популярности» политического лидера сохраняется как факт массового сознания недолго. Мирская молва — морская волна. Примерно то же самое — реакция публики на телепередачи либо политические события. В данном случае мы имеем дело с исследованием-одноднев

¹³ Berelson В., Lazartfeld P., McPhee W, Voting: A study of opinion formation in a presidential campaign. Chicago: University of Chicago Press, 1968.

кой. Его результаты должны появиться завтра на газетной полосе и тут же устареть. Аналогичная ситуация складывается в маркетинге — экспозиция рекламного «паттерна» требует немедленного анализа и прослеживания его влияния на сознание потенциальных покупателей, пока «паттерн» не потеряет свою эффективность. Обычно «моментные» выборки применяются в тех областях социологии, которые ориентированы не на концептуальные результаты, а на внешнего заказчика и выполняют «обслуживающие» функции.

Третий тип систематических ошибок — недостаточный учет аномальных и труднодоступных единиц исследования. Речь идет о тех, кто в силу обстоятельств имеет меньшую вероятность попасть в выборку. Если первый тип систематической ошибки связан с давлением доступных единиц, в данном случае причину ошибки можно обозначить как ненавязчивость малодоступных единиц. Их мало, и социолог уже на стадии проектирования генеральной совокупности должен решить, стоит ли пренебрегать малочисленными группами лиц, лишенных свободы, не имеющих определенного места жительства, работающих в отрыве от дома и т. п. Если учет малодоступных единиц не имеет существенного значения для исследования (в большинстве случаев бывает именно так), следует указать, что они исключены из выборочной совокупности. К малодоступным единицам относятся также больные, в частности, находящиеся в стационарах, очень нелегко получить возможность обследовать личный состав Вооруженных Сил (здесь может заключаться источник серьезных систематических ошибок).

Меньшие шансы на попадание в выборку имеют те, кого нет дома, и отказывающиеся сотрудничать с интервьюером. Недостаточный учет отсутствующих в месте сбора данных, как правило, по месту проживания, — четвертый тип систематических ошибок. Казалось бы, не оказаться дома в момент посещения интервьюера может любой человек (канон полевого исследования требует, как минимум, троекратного посещения). На самом деле, отсутствуют дома вполне определенные контингента населения. По данным Н.Н. Чурилова, при первом посещении интервьюерам удается опросить большую часть женщин и меньше половины мужчин; при трехкратных посещениях обнаруживается, что в числе 4 — 7% труднодоступных респондентов также преобладают женщины. Среди рабочих труднодоступных респондентов 5%, среди служащих — 8%. Чем моложе респонденты, тем больше вероятность опросить их при первом визите интервьюера. С увеличением возраста респондентов увеличивается доля труднодоступных — это противоречит распространенному мнению, будто люди старшего возраста менее мобильны, чем остальные группы населения. Наиболее доступны респонденты, никогда не состоявшие в браке, —

после трехкратных визитов интервьюеров доля опрошенных составила 99—100% ¹⁴.

Пятый тип систематических ошибок — отказы от ответа, которые в зависимости от темы опроса могут составлять довольно значительный процент запланированных интервью. Особенно часто отказы от ответа наблюдаются в крупных городах. Проблема заключается в том, что в отличие от отсутствующих дома отказывающиеся отвечать, по данным исследований, существенно отличаются от сотрудничающих с интервьюером. В частности, имеющие высокое образование и информированные респонденты склонны говорить «не знаю» в противоположность малограмотным и самоуверенным, у которых есть ответ на любой вопрос¹⁵.

Среди причин отказа от ответа можно указать три наиболее важных. Первая причина связана с содержанием вопросов, недостаточной осведомленностью респондента в предмете обсуждения либо нежеланием говорить на определенные темы. Некоторые исследуемые социологом переменные не реагируют на смещение выборочной совокупности, связанное с отказом отвечать на вопросы, другие более чувствительны. Например, беседа с интервьюером по вопросам интимной жизни вызывает затруднение у многих респондентов. В период перестройки (вторая половина 1980-х гг.), когда советские социологи увлекались «острыми» вопросами, трудящиеся старались воздерживаться от ответа или обнаруживали малую осведомленность в актуальных политических темах. Например, многие не могли сказать, как относятся к диссидентам, поскольку они ассоциировались и с пьяницами, и лицами без определенного места жительства. С другой стороны, респонденты активно отвечали на вопросы, о которых не имели представления. Н.А. Клюшина показала, что высокий процент не ответивших в некоторых случаях свидетельствует о качественной информации. По ее данным, включение вопросовфильтров при обсуждении проблем внутренней политики приводит к увеличению числа неответивших на 11% и при обсуждении внешней политики — на 1б%¹⁶.

Вторая причина — нежелание отвечать в силу недоброжелательной установки по отношению к интервьюеру либо такого рода опросам

¹⁴ Чурилов Н.Н. Проектирование выборочного социологического исследования. Киев: Наукова думка, 1986. С. 140 - 146.

¹⁵ Бутенко И.А. «Нет ответа»: Анализ методической ситуации на страницах журнала «Public opinion quarterly» // Социологические исследования. 1986. № 4. С. 118— 122.

¹⁶ Клюшина Н.А. Причины, вызывающие отказ от ответа // Социологические исследования. 1990. № 1.С. 100.

вообще. Этот аспект изучен недостаточно. Каких-либо систематизированных наблюдений не имеется, хотя в литературе отмечается возрастание общего количества «заисследованных досмерти» (surveyed to death) респондентов. Скорее всего это преувеличение. Наиболее способные и опытные интервьюеры умеют завоевывать доверие респондента и преодолевать его нежелание сотрудничать.

Третья причина — внешние обстоятельства, препятствующие контакту, несмотря на информированность респондента и желание сотрудничать. Наиболее труднодоступными, поданным Н.Н. Чурилова, являются семейные респонденты — многие из них не могут выделить 40 — 50 мин для беседы с интервьюером¹⁷, количество отказов от интервью составляет 2,5%, респонденты отсутствуют дома по известным либо неизвестным причинам в 5,2% случаев». По данным опроса 395 молодых рабочих в 1982 г. в Киеве, несостоявшиеся интервью связаны с отпуском респондента (0,4%), болезнью (0,4%), отказом от опроса (3,2%), декретным отпуском (3,6%), призывом в армию (1,2%), увольнением с места работы (2,0%). Другие причины отсутствия ответов обусловлены утерей анкет, отказом вернуть заполненные анкеты и т. п. Общая величина систематической ошибки, как показал Н.Н. Чурилов, составляет 3,03%, что существенно не влияет на выборочную среднюю¹⁹. Уровень систематической ошибки можно несколько снизить заменой отсутствующих либо отказавшихся отвечать респондентов лицами из резервного контингента, но самым надежным способом реализации выборки являются повторные посещения. Однократное посещение обеспечивает опрос примерно 55% респондентов, второе и третье посещения увеличивают это число до 95 — 9б%²⁰.

Повторные посещения респондентов, отсутствующих дома, обходятся довольно дорого. Поэтому в 1950-е гг. в Институте Гэллапа была разработана система интервьюирования, названная «Время—Место». Было проведено специальное исследование и установлено: кто, когда с наибольшей вероятностью находится дома. Естественно, что опросы обычно проводятся в вечернее время и в выходные дни²¹.

Общее количество отказов варьирует от 5% в переписях населения США до 30% в отдельных «трудных» обследованиях, например

¹⁷ Чурилов Н.Н. Проектирование выборочного социологического исследования. Киев: Наукова думка, 1986. С. 149.

¹⁸ Там же. С. 139.

¹⁹ Там же. С. 141 - 142.

²⁰ Там же. С. 144.

²¹ Gallup G. The Gallup Poll: Public opinion 1978. Wilmington, Delaware: Scholarly Resources, 1979. P. XI.

касающихся доходов или интимной жизни. Особенно много отказов в крупных городах. Менее всего расположены к сотрудничеству с интервьюером белые и высокообразованные люди. Возможно, увеличение отказов в последние годы обусловлено соображениями безопасности. Определенную роль играет и снижение уровня подготовки интервьюеров, которые в большинстве случаев рассматривают это ремесло как временную подработку».

Вряд ли возможно предвидеть все систематические ошибки, встречающиеся в массовых опросах. Например, в исследовании воспроизводства трудовых ресурсов Киева в 1984г. применялся отбор респондентов по избирательным спискам — выписывался адрес каждого сотого избирателя. В.И. Паниотто заметил, что, если начинать отбор по алфавитному списку, получат преимущество респонденты, фамилия которых начинается на букву «А». Возникнет систематическая ошибка: в частности, большие шансы на то, чтобы попасть в выборку в Киеве, получат армяне, поскольку их фамилии часто начинаются на «А». Чтобы избежать этого, В.И. Паниотто начинал отбор в каждом списке с номера, равного целой части числа к/7 + 6/7 , где к — номер избирательного участка, изменяющийся от 1 до 700²³.

Каковы способы отбора единиц исследования? Н.Н. Чурилов выделяет сплошной, случайный и неслучайный способы отбора единиц исследования. К случайной выборке он относит выборку вероятностную, систематическую, районированную и гнездовую. Неслучайные методы отбора—«стихийная» выборка, квотная выборка и метод «основного массива»²⁴.

Если генеральная совокупность имеет небольшой объем и можно обеспечить равную вероятность отбора каждой единицы исследования, применяется вероятностная выборка. Это не просто случайный бессистемный отбор, а строгая процедура, чаще всего основанная на использовании таблицы случайных чисел. Такого рода процедуру можно использовать только в том случае, если единицы исследования удается пронумеровать.

Однако чаще всего приходится разделять обследуемую совокупность на более или менее однородные части и затем осуществлять отбор единиц внутри этих частей. Такое разделение совокупности на части называется районированием. Проблема заключается в обеспечении

²² Sudman D. Sample survey // Annual Review of Sociology. 1976. Vol. 2 / Ed. by A. Inkeles.J. Coleman.N. Smelser. Palo Alto, CA: Annual Review Inc., 1977. P. 114— 115.

²³ Паниотто В.И. Качество социологической информации. Киев: Наукова думка, 1986. С. 82.

²⁴ Чурилов Н.Н. Цит. соч. С. 13—27.

однородности выделяемых классов на основе существенных для исследователя критериев. Для решения такой задачи необходимо располагать данными о структуре генеральной совокупности и, в частности, о распределении признака районирования. Выделенные «районы» должны существенно отличаться друг от друга, но им должна быть присуща внутренняя однородность.

Противоположность районированной выборке составляет выборка гнездовая, где обследуется промежуточный объект. Первоначально гнездовая выборка разрабатывалась в сельскохозяйственной статистике. В качестве социологических гнезд могут выступать населенные пункты, районы, предприятия, бригады. Реализовать такую выборку намного легче, чем вероятностную либо районированную. Единицы исследования здесь размещены компактно. Проблемы, которые возникают при гнездовом отборе, связаны с определением величины гнезда, количеством гнезд, которые надо обследовать, и их размещением в генеральной совокупности.

Систематический отбор является упрощенным вариантом случайного отбора. В основу выборки здесь положены не вероятностные процедуры, а алфавитные списки, картотеки, схемы, которые, как предполагается, не зависят от изучаемого признака и обеспечивают равновероятность попадания в выборку всех единиц генеральной совокупности.

Квотный отбор основан на целенаправленном формировании структуры выборочной совокупности. Интервьюер получает задание опросить некоторое количество лиц определенного возраста, пола, образования и профессии. Удельный вес квоты в выборочной совокупности должен соответствовать ее удельному весу в генеральной совокупности. Обычно квотная выборка используется на последних ступенях отбора и завершает процесс районирования и применения вероятностных процедур. Например, в штате Нью-Йорк проживает 10% населения США. Следовательно, 10% интервью должны быть проведены в Нью-Йорке. Если объем национальной выборки 10 000 человек, то на Нью-Йорк приходится 1000 интервью. Далее. НьюЙорк Сити включает 40% населения штата. Следовательно, 400 интервью будут проведены в Нью-Йорк Сити. Поскольку третья часть жителей Нью-Йорк Сити живет в Бруклине, 133 интервью будут проведены в этом районе. Кроме территориальных признаков, для определения квоты выбираются социальный статус, возраст, пол, иногда раса. Распределение этих признаков в генеральной совокупности известно и нетрудно обеспечить ее идентичность структуре выборки. Но при соблюдении квот остается много возможностей для систематических ошибок. В частности, интервьюер, разыскивая респондента определенного пола, статуса и возраста в заданном районе,

предпочтет беседовать с более привлекательными и коммуникабельными людьми. Дж. Гэллап отмечал, что в квотных выборках обнаруживается слишком много людей, окончивших колледж, с доходами выше среднего, республиканцев по политическим ориентациям²⁵. Поэтому вероятностный отбор обладает немалым преимуществом перед квотным: выборка меньше зависит от инициативы интервьюера. Метод стихийного отбора внешне похож на случайный. Исследователь здесь имеет дело с максимально доступными для него единицами наблюдения и исходит по преимуществу только из критерия принадлежности респондента к проектируемой генеральной совокупности. Чаще всего в данном случае допускаются неконтролируемые систематические ошибки. Особенно это относится куличным опросам, когда фиксируется мнение тех, кто имеет возможность и желание поговорить с интервьюером. Существенную роль в данном случае играет взаимное расположение при встрече. Нередко интервьюер, получив задание провести опрос, обращается к своим знакомым. Обследования, проводимые с помощью публикуемых в газетах вопросников, строго говоря, относятся к воображаемому объекту. Оценить репрезентативность выборочных средних при стихийном отборе практически невозможно. К стихийному отбору относится и метод основного массива, преимущество которого состоит в том, что выборочная совокупность составляет значительную долю генеральной и перекрывает возможное смещение. Например, при обследовании коллектива предприятия вполне достаточно опросить «большинство» работников и это обеспечит близость выборочной и генеральной средних.