Закон малых чисел. Мое сотрудничество с Амосом в 1970-е годы началось с дискуссии об утверждении, что люди обладают интуитивным статистическим чутьем

Мое сотрудничество с Амосом в 1970-е годы началось с дискуссии об утверждении, что люди обладают интуитивным статистическим чутьем, даже если их статистике не обучали. На семинаре Амос рассказал нам об исследователях из Мичиганского университета, которые в целом оптимистично относились к интуитивной статистике. Меня эта тема очень волновала по личным причинам: незадолго до того я обнаружил, что я – плохой интуитивный статистик, и мне не верилось, что я хуже других.
Для психолога-исследователя изменчивость выборки – не просто странность, это неудобство и помеха, которая дорого обходится, превращая любое исследование в игру случая. Предположим, вы хотите подтвердить гипотезу, что словарный запас шестилетних девочек в среднем больше, чем словарный запас мальчиков того же возраста. В объеме всего населения гипотеза верна, у девочек в шесть лет словарный запас в среднем больше. Однако девочки и мальчики бывают очень разными, и можно случайно выбрать группу, где за метной разницы нет, а то и такую, где мальчики набирают больше баллов. Если вы – исследователь, такой результат вам дорого обойдется, поскольку, потратив время и усилия, вы не подтвердите правильность гипотезы. Риск снижается только использованием достаточно большой выборки, а те, кто работает с маленькими выборками, отдают себя на волю случая.
Риск ошибки в каждом эксперименте оценивается при помощи довольно простой операции, однако психологи не пользуются вычислениями для определения размера выборки, а принимают решения в соответствии с собственным, зачастую ущербным, пониманием. Незадолго до дискуссии с Амосом я прочитал статью, прекрасно иллюстрирующую типичные ошибки исследователей. Автор отмечал, что психологи сплошь и рядом используют настолько маленькие выборки, что рискуют не подтвердить верные гипотезы с вероятностью 50 %! Ни один разумный исследователь не примет такой риск. Правдоподобным объяснением казалось то, что решения психологов относительно разм ера выборок отражали господствующие интуитивные заблуждения о диапазоне изменчивости.
Меня поразили содержащиеся в статье объяснения, проливающие свет на проблемы с моими собственными исследованиями. Как и большинство психологов, я постоянно использовал слишком маленькие выборки и часто получал бессмысленные, странные результаты, оказывавшиеся артефактами, которые порождал сам метод моих исследований. Мои ошибки были тем постыднее, что я преподавал статистику и умел вычислять размер выборки, необходимый для снижения риска неудачи до приемлемого уровня. Но я никогда этим не занимался при планировании экспериментов и, подобно другим исследователям, верил традиции и собственной интуиции, не задумываясь о проблеме всерьез. К моменту, когда Амос посетил мой семинар, я уже осознал, что моя интуиция не работает, а во время самого семинара мы быстро пришли к выводу, что ошибаются и оптимисты из Мичиганского университета.
Мы с Амосом решили выяснить, есть ли среди исследователей такие же наивные глупцы, как я, и допускают ли те же ошибки ученые, обладающие математическими знаниями. Мы разработали опросник с описанием реалистичных исследований и успешных экспериментов. Опрашиваемые должны были определить размеры выборок, оценить связанные с этими решениями риски и дать советы гипотетическим аспирантам, планирующим научно-исследовательскую работу. На конференции Общества математической психологии Амос провел опрос присутствующих (включая авторов двух учебников по статистике). Результаты оказались очевидны: я был не одинок. Почти все респонденты повторили мои ошибки. Выяснилось, что даже эксперты недостаточно внимательны к размеру выборки.
Первая статья, написанная мной в соавторстве с Амосом, называлась «Вера в закон малых чисел». В ней шутливо пояснялось, что «…интуитивная оценка размера случайных выборок, похоже, удовлетворяет закону малых чисел, гласящему, что закон больших чисел с тем же успехом применим и к малым». Также мы включили в статью настойчивую рекомендацию для исследователей относиться к своим «статистическим предчувствиям с недоверием и при любой возможности заменять впечатления вычислениями».