Репрезентативные и нерепрезентативные (тенденциозные) выборки

Мы хотим, чтобы выборка была репрезентативной для нашего контингента. Чтобы выборка была репрезентативной, входящие в нее наркоманы должны быть мужчинами и женщинами из всех социально-экономических слоев общества, иметь различные уровни интеллекта, проживать в городских и сельских районах и т.д. Репрезентативная выборка необходима для того, чтобы можно было обобщить полученные результаты и решить, какая из программ в целом успешнее. Обобщением называется распространение результатов, полученных на выборке, на весь контингент, т.е. мы подразумеваем, что при обследовании всего контингента получили бы аналогичные результаты.

Что происходит, если выборка не репрезентативна для контингента? Предположим, что одна из программ стоит очень дорого, а другая программа предназначена для бедных и субсидируется государством. Это примеры нерепрезентативных (тенденциозных) выборок. Поскольку они не репрезентативны, вы не можете пользоваться ими для того, чтобы делать выводы обо всем контингенте наркоманов, употребляющих героин

Самое большое фиаско во всей истории выборок произошло, по-видимому, в 1936 г., когда журнал «Литературный дайджест» разослал по домашним адресам более 10 миллионов бюллетеней, чтобы предсказать результаты выборов президента, которые должны были состояться в том же году (Kimble, 1978). На этой большой выборке были получены совершенно ясные результаты: следующим президентом будет Альф Лэндон. Что, вы не знаете такого президента? Я уверена, что не знаете, потому что президентом США в 1936 г был избран Франклин Делано Рузвельт. В чем же было дело? Проблема состояла в том, как были отобраны избиратели, вошедшие в выборку. Бюллетени рассылались подписчикам этого литературного журнала, людям, чьи адреса были в телефонной книге, и владельцам автомобилей. Напоминаю, что дело было в 1936 г., когда только состоятельные люди подписывались на журналы и имели телефоны или автомобили. В выборку не было включено большое число менее богатых избирателей, многие из которых голосовали за Руз-

вельта, а не за Лэндона. Поскольку выборка была нерепрезентативной, нельзя было обобщать результаты на весь контингент. Несмотря на то, что в выборку было включено большое количество избирателей, результаты оказались неправильными, поскольку она была нерепрезентативной.

Часто бывает нелегко заметить, какое глубокое влияние оказывают нерепрезентативные выборки на получаемую нами информацию. Например, пользуются большой популярностью (возможно, потому, что кто-то зарабатывает деньги на оплате телефонных разговоров) телефонные опросы, в которых респонденты сами звонят, чтобы ответить на заданный вопрос. Предположим, телефонный опрос показал, что 75% респондентов, позвонивших, чтобы выразить свое мнение о смертной казни, были против нее. Какие выводы можно сделать из этого? Абсолютно никаких! Опросы такого типа называются slops (selected listeners opinion polls), что означает «опрос мнений избранных слушателей», а также отражает их ценность (slops по-английски также означает «помои»). Только люди с крайними взглядами по какому-либо вопросу не пожалеют времени и денег на то, чтобы позвонить и выразить свое мнение. Хотя обычно перед этими опросами предупреждают, что «это не научные данные», комментатор затем переходит к изложению бессмысленных результатов, как будто они отражают общественное мнение.

Еще одной ловушкой при составлении выборки является возможность смешанного влияния факторов (confounding). Поскольку пациенты этих двух гипотетических программ лечения от героиновой наркомании отличаются между собой по нескольким признакам, — т. е. по первой программе консультации проводят ровесники, а наркоманы очень состоятельны, а по второй программе предлагается лечение другого типа, и пациенты очень бедны, — мы не можем определить, зависят ли различия в показателях выздоровления от типа лечения или от уровня доходов пациентов. Поскольку мы не можем разделить влияние типа лечения и уровня доходов пациентов, то по этим результатам нельзя судить о том, какой тип лечения успешнее.

Обычно ученые пользуются удобными (convenience) выборками. Они исследуют группу людей, которые легко доступны. Чаще всего участниками психологических экспериментов бывают студенты колледжей и крысы. Насколько широко можно обобщать результаты, полученные на этих выборках, зависит от того, какой вопрос вы исследуете. Если вы хотите понять, как работает человеческое зрение, студенты колледжа будут подходящими участниками, особенно если вас интересуют молодые и здоровые глаза. С другой стороны, если вы хотите разобраться в вопросе о стереотипизации половых ролей у взрослых, студенты колледжа не будут репрезентативной выборкой, поскольку по сравнению с другими взрослыми они менее склонны к стереотипизации. В этом случае вы можете обобщать результаты только на студентов колледжа.

Во время недавних выборов в Калифорнии велось много споров по вопросу о введении ваучерной системы для оплаты среднего образования. Как вам, возможно, известно, некоторые люди считают, что образование выиграло бы, если бы родители получали ваучеры на сумму, которую государство тратит на обучение ребенка в средней школе. Затем родители могли бы воспользоваться этим ваучером и выбрать любую школу, которую они считают наиболее подходящей для своего ребенка. Это сложная проблема, поскольку сторонники ваучеризации утверждают, (272:) что конкуренция приведет к повышению уровня всех школ, а противники доказывают, что богатые родители будут доплачивать и посылать своих детей в частные школы, в то время как бедные родители будут вынуждены отдавать ваучеры в более дешевые и слабые школы. Я не хочу обсуждать здесь вопрос о ваучерах, но приведу объявление, которое часто появлялось в печати в предвыборный период. Оно звучало примерно так:

Государственные школы Калифорнии плохо справляются с обучением наших детей. Знаете ли вы, что результаты старшеклассников из Калифорнии на вступительных экзаменах в колледж значительно ниже, чем результаты старшеклассников из штата Миссисипи?

Мышление авторов этого объявления можно подвергнуть критике по многим пунктам (включая и явную инсинуацию в адрес штата Миссисипи), но целью нашего обсуждения является только рассмотрение характера сравниваемых выборок. Вступительные экзамены в колледж сдают только те школьники, которые собираются учиться в колледже. В Калифорнии эти экзамены сдает гораздо большая часть старшеклассников, чем в Миссисипи. Хотя я не знаю точных фактических цифр, предположим, что в Калифорнии эти экзамены сдают 40% лучших выпускников средней школы, а в Миссисипи — только 10%. Теперь вы видите, почему можно ожидать, что выпускники из Миссисипи покажут лучшие результаты — из-за нерепрезентативности выборки. Существуют и другие причины, по которым можно ожидать, что эти результаты не связаны с качеством образования. В Калифорнии много недавно приехавших иммигрантов, потому многие учащиеся говорят по-английски не так хорошо, как те, для кого английский язык является родным. Из-за этого средний балл учащихся штата тоже может понизиться. Таким образом, опять дело в выборке, поскольку не проводится сравнение групп, которые отличаются лишь одной интересующей нас переменной (штат, в котором получено образование). Конечно, не исключено, что в Миссисипи школьники получают лучшее образование, чем в Калифорнии, но это не следует из приведенных данных.

Размер выборки

Получив наперсток фактов, мы делаем поспешные обобщения размером с целую лохань.

Гордон Олпорт (Allport, 1954, р. 8)

Количество испытуемых, включенных в выборку, называется размером выборки. Допустим, что по первой программе лечились 6 пациентов/испытуемых, а по второй программе — 10 пациентов/испытуемых. (Испытуемый — это человек, животное или организм, который участвует в эксперименте.) Обе эти выборки слишком малы, чтобы определить степень успешности лечения. При проведении экспериментов ученые часто используют большое количество испытуемых. Если по какой-то причине у них не окажется большого количества испытуемых, то, возможно, им придется осторожнее и консервативнее относиться к выводам, полученным с помощью своих исследований. Несмотря на то что обсуждение числа испытуемых, (273:) необходимых для проведения эксперимента, выходит за рамки этой книги, важно помнить, что для большинства повседневных целей мы не можем обобщать на весь контингент результаты наблюдений за реакциями небольшой группы людей.

Предположим, что с вами произошла следующая история. После нескольких месяцев колебаний вы, наконец, решили купить машину марки «Шевроле Камаро». Вы обнаружили, что эта машина имеет высокий рейтинг в двух журналах — в Consumer Reports («Отзывы потребителей») и Road and Track («Пути — дороги»). Цена «Камаро» укладывается в ваш бюджет, и вам нравится его обтекаемая форма и спортивный стиль. Выходя из дома, чтобы оформить сделку, вы встречаетесь с близкой подругой и сообщаете о своей предполагаемой покупке. «"Камаро?" — кричит она. — Брат моего мужа купил эту машину — это просто консервная банка. Она постоянно ломается на дороге. Ее так часто таскали на буксире, что пора заменять бампер». Что вы будете делать?

Большинству людей было бы трудно все-таки решиться на покупку, потому что они не обращают достаточного внимания на размеры выборки. Общенациональные журналы, вероятно, проверили много машин перед тем, как определили свой рейтинг. Брат мужа вашей подруги — это один испытуемый. Вам следует больше доверять результатам, полученным на больших выборках, по сравнению с результатами, полученными на маленьких (при условии, что «эксперименты» были одинаково корректными). Тем не менее, многие считают рекомендации единственного человека, особенно если это их знакомый, убедительнее информации, полученной на большой выборке.

Мы склонны игнорировать важность достаточно большого размера выборки, когда действуем как «интуитивные ученые». Именно поэтому рекомендации являются таким мощным средством убеждения людей, внушая им, что делать и во что верить. Но рекомендации основываются на опыте только одного человека, и часто этому человеку платят за то, чтобы он хвалил определенный товар. В моей коллекции есть реклама телефонных консультаций экстрасенса, где в качестве доказательства того, что советы экстрасенсов эффективно помогают решить целый ряд проблем, приводятся «реальные случаи». «Жительница города Лансинга в штате Мичиган вновь обрела интерес к жизни после одной беседы с экстрасенсом... А женщина из Питтсбурга (штат Пенсильвания) чувствует, что экстрасенс как будто заглянул прямо ей в душу» («Космополитен», январь, 1994). Чтобы эти комментарии звучали более правдоподобно и носили личный характер, авторы ссылаются на определенных людей, не называя их имен, но указывая название города и штата. Чем определеннее получаемая нами информация, тем больше вероятность, что мы поверим в ее истинность. Но дайте мне передохнуть!

Мне хотелось бы игнорировать информацию подобного типа, считая ее вздором, на который никто не купится, но мой опыт свидетельствует об обратном. Одна моя родственница истратила более 300 долларов на телефонные звонки экстрасенсам, когда ей нужно было принять важное решение, касавшееся лечения ее серьезно больного мужа. За эти деньги она получила советы, которые были в лучшем случае просто безвредными, а в худшем случае приводили к тому, что она пренебрегала рекомендациями больничных врачей. Позднее я узнала, что экстрасенсам запрещено предсказывать кому-либо смерть, поэтому они дали ей ложную надежду, из-за чего ей было еще тяжелее перенести смерть мужа. Я рассказываю эту истинную историю, коснув-

шуюся лично меня, потому что надеюсь, что она заставит вас задуматься о том, какие необходимы доказательства, чтобы заплатить сотни долларов за совет незнакомого и заинтересованного в ваших деньгах человека, у которого нет документов, подтверждающих его компетенцию в области психологии или науки.

Вариативность

Термин вариативность указывает на то, что не все люди одинаковы. Предположим, что вы знаете человека, который «дымил, как паровоз» и прожил до ста лет. Означает ли это, что гипотеза об отрицательном влиянии курения на здоровье неверна? Отнюдь нет. Влияние курения на здоровье определялось многими независимыми исследователями, которые работали с большим количеством испытуемых. Люди демонстрируют различные реакции, придерживаются разных мнений и имеют разные способности. При осмыслении результатов важно помнить о роли вариативности.

Несколько лет назад поднялось много шума вокруг применения лаэтрила (laetrile), т.е. экстракта абрикосовых косточек, для лечения рака. Несмотря на то, что официальная медицина Соединенных Штатов признала его бесполезность в борьбе против рака, многие люди продолжали верить, что с помощью лаэтрила можно излечиться. Предположим, что вы прочитали о человеке с диагнозом «рак», который затем принимал лаэтрил. Впоследствии этот счастливчик излечился от рака. Какие выводы вы сделаете? Захочется ли вам заключить, что, по крайней мере, в некоторых случаях лаэтрил может вылечить или помочь вылечить рак? Такое заключение необоснованно. Некоторые люди вылечиваются от рака, а другие — нет. Так же как люди различны по своим убеждениям и установкам, они по-разному реагируют на болезнь. Если размер выборки равен единице, мы не можем заключить, что лаэтрил внес свой вклад в выздоровление больного. Чтобы решить, полезен ли лаэтрил при лечении рака, необходимы широкомасштабные сравнительные исследования уровней выживания групп больных раком, которые лечились лаэтрилом, и групп больных, которые лечились другими способами. Когда государственные организации провели такие тесты, оказалось, что лаэтрил бесполезен. Легко понять, что отчаявшиеся больные раком поддаются заблуждению и верят в результаты, полученные на очень маленьком количестве людей.

Готовность людей поверить, что результаты, полученные всего на нескольких испытуемых, можно обобщать на весь контингент, называется законом малых чисел (Tversky & Kahneman, 1971). На самом деле мы можем быть более уверены, когда работаем с большими выборками, а не с маленькими (Kunda & Nisbett, 1986). При экспериментальном исследовании этого явления (Quattrone & Jones, 1980) студенты колледжа продемонстрировали веру в то, что если один из членов группы принимает определенное решение, то другие члены этой группы примут такое же решение. Этот результат был особенно стойким, когда студенты одного колледжа наблюдали за решениями студентов других колледжей. Таким образом, мы видим, что вера в закон малых чисел способствует сохранению предрассудков и стереотипов. Мы склонны верить, что действия одного члена группы являются показателем действий всей группы. Слышали ли вы, как кто-нибудь говорит: «Все ____ (вставьте (275:) сюда название группы, к которой принадлежите) похожи друг на друга»? Одна знакомая как-то сказала мне, что все ямайцы — жулики и воры. Она пришла к такому заключению после одного неприятного инцидента, который произошел у нее с жителем Ямайки. Такого рода утверждения являются проявлением закона малых чисел. Теперь вы можете понять, как закон малых чисел может объяснить происхождение многих предрассудков, таких, например, как расизм? Единственное запомнившееся событие с участием члена группы, с которой мы редко вступаем в контакт, может повлиять на наши представления о всех остальных членах этой группы. Как правило, перед тем как прийти к какому-либо заключению, необходимо накопить большое количество наблюдений о людях и событиях.

Существует одно исключение из общего принципа, которое состоит в том, что для достоверных обобщений результатов на весь контингент необходимы большие выборки. Это исключение имеет место тогда, когда контингент совершенно однороден. Если, например, каждый человек из интересующего нас контингента совершенно одинаково отвечает на любой вопрос (например, «Одобряете ли вы смертную казнь?») или одинаково реагирует на любое лечение (например, не имеет «сердечных приступов» при лечении простым аспирином), то размер выборки больше не играет роли. Конечно, люди не бывают одинаковыми. Вы, вероятно, считаете, что об этом можно было бы и не говорить, поскольку все и так знают, что все люди разные. К сожалению, исследования показали, что большинство из нас склонно к недооценке изменчивости групп, которые нам не знакомы.

Члены всех групп меньшинств часто рассказывают, что лидеры или члены других групп обращаются к ним и спрашивают: «Что афроамериканцы (или женщины, или латиноамериканцы, или азиаты, или члены любой из групп меньшинств) думают по этому вопросу?» При этом как будто подразумевается, что несколько членов группы меньшинства могут говорить от имени всей группы. Это проявление нашей веры в то, что группы, к которым мы не принадлежим, гораздо более гомогенны (однородны), чем наша.

Способность к точному прогнозированию частично зависит от умения точно оценивать степень вариативности. Важно иметь это в виду всякий раз, когда вы проверяете гипотезу — в строго научной обстановке или при неформальных попытках определить причинные связи в своем повседневном окружении.