Так говорил Сералини. Математическая статистика в биологии, ошибки в исследованиях о вреде ГМО

“Статистика не всегда говорит правду, но может помочь понять результаты” – так ответил124 французский исследователь Жиль-Эрик Сералини на один из ключевых пунктов критики, которая обрушилась на его статью о вреде генетически модифицированной кукурузы линии NK603125. Пятнадцать126–140 писем от независимых исследователей, в том числе от меня, указывали на различные ошибки в этой нашумевшей публикации в научном журнале Food and Chemical Toxicology.

“В этих результатах нет ничего, кроме случайной ошибки, и любой компетентный рецензент немедленно это увидел бы”, – писал один из критиков Сералини профессор Энтони Тревавас, молекулярный биолог из Эдинбургского университета. Поддержка у Сералини со стороны коллег тоже имелась, но ее выразили лишь в одном письме141. Тем временем Россия отреагировала на исследование введением временного запрета на импорт генетически модифицированной (ГМ) кукурузы.

Сералини утверждал, что крысы, употреблявшие ГМ кукурузу NK603, погибали чаще и имели больше опухолей, чем крысы из контрольной группы, которые ели обычную кукурузу. Большинство специалистов, глядя на опубликованные результаты, возражали, что этот вывод не обоснован. В такой ситуации обычному человеку сложно понять, кому доверять: Сералини или тем, кто его критикует. Для этого желательно узнать, в чем, собственно, заключалась критика.

В этой главе представлен обзор аргументов в пользу безопасности использования уже существующих генетически улучшенных организмов в качестве продуктов питания. Это необычный обзор, потому что я опираюсь исключительно на данные, полученные теми, кто писал о возможной опасности ГМО, в том числе и на данные, полученные Сералини.

В значительной части работ, в которых было заявлено негативное действие ГМО на животных, выводы не соответствуют результатам. Это связано с тем, что в них присутствует одна и та же ошибка, которая заключается в некорректном применении аппарата математической статистики. После ее устранения полученные данные перестают свидетельствовать в пользу того, что ГМО опаснее обычных организмов. Следуя завету Сералини, давайте разберемся в том, как статистика помогает понять результаты исследований. Но сначала попробуем понять саму статистику.

В статистике существует понятие, которое называется нулевая гипотеза. Это понятие отражает позицию по умолчанию, утверждающую, что между двумя явлениями нет никакой связи. Она говорит, что орел или решка на монете выпадают равновероятно и независимо от погоды. Что рак легких не связан с курением. Что цвет глаз человека не зависит от его пола. Что число пропавших в течение недели носков не зависит от того, наблюдалось ли на небе НЛО. Что токсичность картошки не зависит от того, генетически модифицирована она или нет, и так далее. В некоторых случаях нулевая гипотеза верна, в других – нет. До появления доказательств обратного нулевая гипотеза считается верной по умолчанию, поэтому научные эксперименты сводятся к тому, что нулевую гипотезу пытаются опровергнуть.

Статистические тесты позволяют оценить, насколько высока вероятность получить некий результат при условии, что нулевая гипотеза верна. Допустим, что мы провели эксперимент, в котором подкинули монетку десять раз и все десять раз выпала решка. В данном случае за нулевую гипотезу можно принять равную вероятность выпадения орла и решки. При таком допущении вероятность выкинуть решку десять раз из десяти равна У в десятой степени, то есть менее одной тысячной. Полученная вероятность называется P-значение, или просто P, и это вероятность получить такое же или более существенное отклонение результата эксперимента от ожидаемого. Полученное P сравнивается с пороговым значением, уровнем значимости, обозначаемым а (альфа). Общепринятыми значениями а являются либо 0,05, либо 0,01, либо 0,001. Отметим, что 0,05 – самый мягкий порог, который можно встретить в научной литературе, хотя это лишь некоторая условность.

Если полученное значение P меньше, чем пороговое значение, мы считаем, что нулевая гипотеза отвергнута и можно принять альтернативную гипотезу. В случае с монеткой получилось так, что P < 0,001, а значит, есть основания полагать, что решка выпадает чаще орла. Чем меньше порог а, тем меньше вероятность, что мы получим ложноположительный результат, найдем закономерность там, где ее нет. Чем больше порог а, тем меньше вероятность, что мы получим ложноотрицательный результат, то есть не найдем закономерности там, где она есть. Правильно подобранные пороги позволяют соблюсти баланс между этими двумя типами ошибок.

Статистику полезно знать еще и потому, что она помогает знакомиться с девушками (или молодыми людьми), и я сейчас продемонстрирую как. Загадайте число от 1 до 20. Сделайте это, прежде чем читать дальше. Помните, что если вы симпатичная девушка и я угадаю ваше число, то с вас билет в кино. Итак, перед вами умная книга, наподобие дневника Тома Редла из “Гарри Поттера”, и она заранее знает, какое число вы загадаете. Обратитесь к калькулятору и поделите 23101096 на 1358888. Убедитесь, что я угадал правильно.

Секрет фокуса прост. Он работает только в одном случае из двадцати, и, скорее всего, я ваше число не угадал. Девятнадцать читателей из двадцати не будут впечатлены, но, возможно, именно с вами мне повезло, и вы на секунду удивились. Если повторять этот фокус много раз, каждый раз с новой девушкой (или читателем), с кем-нибудь он неизбежно сработает. Вероятность угадать в одном испытании равна 5 %, но вероятность угадать хотя бы раз, имея двадцать попыток, уже превышает 64 %. При ста испытаниях трюк удастся хотя бы раз с вероятностью 99,4 %!

Проблема “множественных сравнений” (или множественных испытаний) возникает в статистике, когда мы проверяем не одну гипотезу, а множество похожих. Для ее иллюстрации используется простая формула Y = (1,00-0,95N)×100 %, где N обозначает число сравнений, а Y – вероятность того, что по случайным причинам хотя бы в одном из них будет обнаружено статистически достоверное отличие при пороге значимости 0,05.

В 2012 году доктор Крейг Беннет получил Шнобелевскую премию за удивительную статью. Он искал у лосося участок мозга, отвечающий за распознавание человеческих эмоций. Для этого он показывал рыбе серию фотографий, на которых были изображены люди в разных социальных ситуациях, с разным эмоциональным оттенком, и анализировал активность мозга рыбы с помощью томографа. Оказалось, что мозг рыбы по-разному реагирует на разные фотографии людей! Этот результат особенно удивителен, если учесть, что лосось в исследовании был дохлым142.

На самом деле Беннет пытался привлечь внимание к важной проблеме. Стандартные приборы, измеряющие активность мозга, имеют погрешности в измерениях, шум. Если измерить активность мозга одновременно в огромном количестве независимых участков, в некоторых из них по случайным причинам может обнаружиться статистически достоверный сигнал, который можно ошибочно интерпретировать как признак мозговой активности (реакцию на изображения). Так Беннет продемонстрировал, что проблема множественных сравнений порой приводит к неожиданным биологическим результатам.

Самый простой способ учесть множественные сравнения – ввести поправку, названную в честь итальянского математика Карло Эмилио Бонферрони143. Поправка гласит, что если экспериментатор проверяет не одну, а сразу n гипотез, ему следует проверять каждую гипотезу не против уровня значимости а, а против уровня значимости a/n.

Предположим, что пять девушек независимо загадали натуральное число от одного до сорока. И я, назвавшись экстрасенсом, угадал число одной из них. Можно ли отвергнуть нулевую гипотезу, что я не умею читать мысли, используя самый мягкий порог статистической значимости, а = 0,05? Без поправки Бонферрони мы получаем, что в случае с одной из девушек случилось событие, вероятность которого 1/40, – я угадал ее число. Эта вероятность меньше, чем а = 0,05, а значит, есть основания полагать, что я умею читать мысли. Но свои экстрасенсорные способности я опробовал на пяти девушках. Следовательно, мы имеем дело с пятью множественными сравнениями. Поэтому порог а = 0,05 мы делим на пять и получаем новый порог а = 0,01, что уже меньше, чем 1/40. Теперь мы приходим к выводу, что даже при самом мягком пороге статистической значимости нельзя исключить гипотезу, что мне просто повезло.

Поправка Бонферрони достаточно консервативна, то есть значительно снижает риск обнаружения ложноположительных результатов, но одновременно увеличивает количество ложноотрицательных. Мы рискуем пропустить какую-то важную закономерность, поэтому использовать ее нужно осторожно. Однако в примерах работ, которые я буду разбирать ниже, эта поправка оправдана по нескольким причинам144.

Во-первых, из современных представлений в области молекулярной генетики не следует никаких рисков, связанных с употреблением ГМО. Поэтому непонятно, как именно ГМО должны влиять на организм животных и каким может быть биологический механизм такого воздействия. Нет никаких четких гипотез о том, какие биологические показатели должны измениться, как сильно и в какую сторону. Скептически настроенные к ГМО исследователи проверяют все подряд, и любые отличия между ГМО и их аналогами признают потенциально опасными. Увеличение толщины кишечника опасно, но уменьшение тоже вредно! Настораживает как снижение, так и увеличение содержания каких-нибудь микроэлементов в ГМО или бактерий в кишечнике организмов на диете с ГМО. Если рассмотреть множество параметров, отличия по некоторым из них обязательно найдутся.

Второй аргумент в пользу поправки заключается в том, что обнаружение любых отклонений у организмов, питающихся ГМ кормом, моментально становится сенсацией, даже если это предварительный и никем еще не воспроизведенный результат. Эти сенсации приводят к серьезным политическим решениям и экономическим последствиям, введению ограничений импорта и даже к попыткам изменения законодательства. Поэтому ложноположительные результаты крайне нежелательны как для развития биотехнологий, так и для формирования объективной научной картины мира.

Рассмотрим еще две истории про ошибки научного метода, показывающие, как маленькие недостатки эксперимента могут приводить к “потрясающим” результатам и насколько важно критически относиться к научным сенсациям. Среди биологов передается из уст в уста анекдотическая история о том, как в одном НИИ открыли телепатию. Исследователи брали крыс и сажали их парами в клетки, давая им возможность познакомиться. Через некоторое время клетки с парами крыс разделяли на две группы: экспериментальную и контрольную (для сравнения). Крыс из каждой пары изолировали друг от друга, чтобы они не могли видеть друг друга, обмениваться звуками и запахами. В экспериментальной группе одну крысу из пары заставляли голодать, а за второй крысой наблюдали, оценивая, сколько она ест в условиях неограниченного доступа к еде. В контрольной группе обеим крысам предоставляли неограниченный доступ к еде, за одной из крыс наблюдали. Оказалось, что напарница голодающей крысы ела больше, чем напарница сытой крысы, как будто чувство голода передавалось между крысами через неизвестный нам канал информации.

Один математик заинтересовался этими опытами и уговорил исследователей, чтобы ему разрешили принять участие в постановке экспериментов. Математик заметил, что хотя ученые из института N заявляют, что выбирают, в какую группу поместить ту или иную крысу “наугад”, это “наугад” сводится к тому, что экспериментатор берет вполне конкретную крысу и на свое усмотрение сажает ее в ту или иную клетку. Математик почувствовал, что здесь может быть какой-то подвох, и попросил, чтобы на каждом этапе эксперимента крысы выбирались по-настоящему честным жребием, на исход которого экспериментаторы повлиять не могли. Жребий определял, каких двух крыс посадят в одну клетку, какая пара крыс попадет в экспериментальную группу, а какая в контрольную, за какой из двух крыс будет вестись наблюдение.

Предложенная математиком процедура называется рандомизация, и эта процедура полностью устранила весь заявленный эффект телепатии у крыс. По-видимому, сами того не подозревая, исследователи помещали в экспериментальную группу крыс, которые больше ели. Учитывая, что ученые ошибку свою признали, эта история говорит о том, что даже порядочный экспериментатор может стать жертвой собственной необъективности или неосторожности.

Еще одна история касается публикации 1988 года в научном журнале Nature. Коллектив под руководством французского иммунолога Жака Бенвениста145 опубликовал статью о том, что очень сильно разбавленное вещество может воздействовать на человеческие клетки, даже если степень разбавления такова, что от разбавляемого вещества не осталось ни одной молекулы. Это исследование имело очень важное социальное значение, ибо подтверждало возможность эффекта от гомеопатии, метода альтернативной медицины, которым пользуются сотни миллионов людей, несмотря на то что научное сообщество считает его псевдонаучным.

Один из основных принципов гомеопатии заключается в том, что активное вещество многократно разбавляется. Берется 1 грамм вещества, растворяется в 99 граммах воды, встряхивается. Так получается 1C раствор с концентраций 1 %. Затем берется 1 грамм 1С раствора, снова растворяется в 99 граммах воды и встряхивается. Так получается 2С раствор с концентрацией вещества равной 0,01 %. Последовательно повторяя эту процедуру 30 раз, можно получить типичное гомеопатическое разбавление 3 °C, которое, согласно всем известным законам физики и химии, не должно содержать молекул исходного вещества сверх тех примесей, которые присутствуют в обычной воде. Однако гомеопатическая вода в опытах Бенвениста оказывала иное воздействие на клетки человека, чем обычная вода. Это означало, что либо неверны наши представления о законах физики и химии, либо в экспериментах Бенвениста допущена ошибка.

Группа скептиков во главе с Джоном Мэддоксом, который тогда был редактором журнала Nature, приехала в лабораторию Бенвениста, чтобы посмотреть, как проводятся эксперименты. Скептики обратили внимание на то, что Бенвенист и его коллеги знают, на какие клетки действуют обычной водой, а на какие гомеопатической, и предположили, что исследователи неосознанно искажают измерения в пользу своей теории. Для исключения такой возможности была предложена процедура “слепого эксперимента". Пробирки с гомеопатической и обычной водой были пронумерованы, а шифр был спрятан в конверте, который, как повествует история, запечатали и приклеили к потолку в лаборатории.

Когда все измерения воздействия воды на клетки были сделаны, конверт раскрыли и провели анализ данных. Оказалось, что эффект гомеопатической воды пропал146. Ученый может осознанно и неосознанно вносить небольшие искажения в измерения. Он может решать, в какую сторону округлять значения, или переделывать отдельные измерения, которые не вписываются в его представления. Подобные искажения, повторенные много раз, накапливаются из эксперимента в эксперимент и в итоге дают противоречащий здравому смыслу, но статистически достоверный результат.

Бенвенист получил Шнобелевскую премию за “стойкие убеждения, что вода является разумной жидкостью и может помнить события, следы которых давно исчезли”. Вопрос о том, страдает ли вода “склерозом” и помнит ли она, что с ней случилось в канализации, обычно остается без ответа. Ни Бенвенист, ни его последователи не признали ошибки методологии. Позже он получил вторую Шнобелевскую премию за “гомеопатическое открытие того, что вода не только обладает памятью, но и умеет делиться воспоминаниями по телефону и через интернет”. Сегодня методы, основанные на этом заблуждении, используются последователями Бенвениста для откровенного обмана. Несведущим людям предлагают лечиться “излучением лекарств”, которое “записано” на компакт-диски, или даже скачать приложение, позволяющее заряжать воду “лекарственным излучением” с помощью смартфона.

Таким образом, даже в самых серьезных научных изданиях иногда публикуются работы с ошибками (пусть и с последующим опровержением). Зная это, давайте проведем независимый анализ основных публикаций, появившихся на страницах научных журналов и указывающих на риски употребления ГМО в пищу.

Одной из первых научных публикаций, создавших истерию вокруг возможной опасности генной инженерии, была статья 1999 года Арпада Пуштаи и Стенли Эвана147 в журнале Lancet о том, что употребление генетически модифицированного картофеля, в геном которого встроен ген лектина, влияет на размер тощей кишки крыс (тощая кишка – средний отдел тонкой кишки). Эти результаты были интерпретированы как доказательство потенциальной опасности ГМО, хотя повышенная смертность крыс в работе заявлена не была и с ходу не очевидно, почему упомянутые изменения непременно вредны. Лектины – это белки, обладающие способностью специфично связывать углеводы на поверхности клеток и, как следствие, склеивать клетки друг с другом. Известно, что лектины в высоких концентрациях обладают токсичными свойствами148, 149. Употребление таких белков может приводить к нарушению усвоения питательных веществ, аллергическим реакциям и ожирению. Поэтому не ясно, зачем кому-то делать генетически модифицированную картошку с избытком лектина. И действительно, в коммерческих целях никто такие растения не производил.

Не было сомнений, что генетически модифицированное растение с геном лектина получится, мягко говоря, не очень полезным. Никто и не отрицает, что можно с помощью генной инженерии вывести токсичный сорт любого растения. Но Пуштаи проверял не токсичность лектина в картошке. Он хотел показать, что сама процедура создания трансгенного организма может нести в себе угрозу для здоровья и приводить к непредсказуемым последствиям в силу неизвестных молекулярным биологам факторов.

Пуштаи сравнивал крыс, которые ели обычную картошку, генетически модифицированную картошку, производящую лектин, и обычную картошку с белком лектина в качестве пищевой добавки. Логика была такой: если верны представления молекулярных биологов и синтез белка лектина является единственным существенным изменением генетически модифицированной картошки по сравнению с обычной, то она будет такой же, как обычная картошка, к которой добавили чистый лектин. Пуштаи обнаружил статистически достоверное (P = 0,041) отличие в размерах одного из анализированных органов у крыс, которые ели ГМО и обычную картошку с лектином, пусть и на грани самого мягкого порога статистической значимости 0,05.

По аналогии с примером про загаданное число, которое я пытался отгадать, у Пуштаи было как минимум пять подопытных “девушек". Этих “девушек" звали: желудок, тощая кишка, подвздошная кишка, слепая кишка и прямая кишка. Если сделать поправку на пять множественных сравнений, оказывается, что между группами крыс в работе Пуштаи, которые питались генетически модифицированной картошкой и картошкой с добавлением лектина, различия не выходят за рамки ожидаемого случайного разброса. С поправкой Бонферрони самый мягкий порог статистической значимости теперь не а = 0,05, а а = 0,01, и это меньше, чем полученное значение P, равное 0,041. На самом деле в экспериментах Пуштаи “девушек" было еще больше: не все признаки, которые он исследовал, вошли в статью, хотя это уже не так существенно.

Зато разница между вареной и невареной картошкой в работе Пуштаи осталась значимой даже после учета поправки на множественные сравнения. И действительно, варка обезвреживает лектины, поэтому вареная картошка оказывает на организм крыс иное воздействие, чем сырая. Стоит отметить, что другие множественные сравнения, возникшие в результате того, что изучались отличия между вареной картошкой и сырой, с лектином и без лектина, генетически модифицированной и немодифицированной, были учтены в использованном стандартном статистическом тесте.

Британское королевское общество провело независимую экспертизу работы Пуштаи150 с участием шести независимых специалистов, чьи области знаний покрывали сферы статистики, клинических испытаний, физиологии, вопросов питания, генетики, развития и иммунологии. Эти и другие эксперты отметили151, что эксперименты Пуштаи не были слепыми, то есть экспериментатор мог повлиять на результаты (как в истории с Бенвенистом), и нашли в них ряд других изъянов. Однако достаточно сделать аккуратный статистический анализ, чтобы показать, что, даже несмотря на всевозможные огрехи, данные, полученные Пуштаи, скорее показывают отсутствие значимых отличий между ГМ и не ГМ картошкой.

На почве вызванного данным исследованием скандала Пуштаи был отстранен от должности в институте, где он работал. С одной стороны, мне бы хотелось заступиться за него: ошибки, допущенные в ходе исследования и в интерпретации результатов, не обязательно указывают на его недобросовестность. С другой стороны, причина устранения Пуштаи была не в том, что он получил “неугодные научные результаты" или плохо работал.

Еще до того, как обсуждаемая статья прошла рецензию и была опубликована, Пуштаи выступил на телевидении, где высказал свои подозрения о вреде ГМО. То, что выступление на ТВ предшествовало публикации научной статьи, негативно отразилось на репутации института, в который посыпались звонки от журналистов, государственных деятелей, представителей индустрии и возмущенных ученых. Публичное выступление оказало влияние и на принятие статьи в журнал. Один из рецензентов статьи Пуштаи написал, что работа содержит существенные недостатки, но “чтобы избежать подозрения в заговоре против Пуштаи и дать коллегам возможность увидеть данные собственными глазами", ее стоит опубликовать152.

Перейдем к следующему исследованию, в котором было заявлено о возможном нежелательном эффекте ГМО. Оно было опубликовано в 2011 году в Journal of Food Sciences153 и тоже получило широкую общественную огласку. В статье утверждалось, что бактерии рода Lactobacillus (молочнокислые бактерии) обнаруживаются в большем количестве в слепой кишке самцов крыс, которых кормили обычным рисом, по сравнению с кишкой самцов крыс, у которых 70 % корма составлял ГМ рис (P < 0,05). На самках крыс эффект не воспроизводился. В этой работе имело место 42 множественных сравнения: независимо рассмотрели два пола крыс (у самок эффекта не обнаружили), семь микробиологических параметров, три разных схемы питания ГМ рисом.

Применив поправку Бонферрони, пересчитав уровень значимости и P, мы приходим к следующему выводу: никаких статистически достоверных отличий между крысами, которых кормили обычным и ГМ рисом, не обнаружено. Мы не можем принять выводы авторов о том, что “ГМ рис оказывает комплексное влияние на микрофлору слепой кишки и это может иметь отношение к здоровью организма”. Но взглянем на это по-другому: авторы перебрали кучу микробиологических параметров и достоверных эффектов, связанных с употреблением ГМ корма, продемонстрировать не смогли.

Авторы еще одной работы154 утверждали, что самки свиней, которых кормили генетически модифицированной кукурузой, имеют более крупные (в среднем на 25 % по массе) матки по сравнению со свиньями, которые ели обычную кукурузу (P = 0,025). Авторы также сравнивали вес почек, сердца, печени, селезенки, легких, желудка и яичников. Это значит, что множественных сравнений было восемь и порог статистической значимости должен быть а = 0,05/8 = 0,00625. То есть наблюдаемые отличия статистически не достоверны.

Авторы также заявляют, что у свиней, которых кормили ГМ кормом, в 2,6 раза чаще встречалось серьезное воспаление желудка (P = 0,004) по сравнению с контрольной группой. Если рассмотреть отдельно самцов и самок, эффект был статистически достоверным в случае обоих полов. У самцов серьезное воспаление случалось в 4 раза чаще (P = 0,041), а у самок в 2,2 раза чаще (P = 0,034). В ходе исследования независимо рассматривались патологии почек, сердца, печени, селезенки, кишечника, яичника, легочная пневмония, перикардит и абнормальные лимфатические узлы. Потребовалось разделение патологий на несколько групп: легкие, умеренные и серьезные воспаления желудка, эрозия и три типа язв. Причем такое разделение было важным для авторов, ведь если объединить случаи умеренного и серьезного воспаления желудка, достоверные отличия между группами свиней исчезают даже при пороге значимости а = 0,05.

В итоге было проведено как минимум 17 попарных сравнений. В лучшем случае исправленное значение а = 0,05/17 = 0,0029, и даже значение P = 0,004, полученное для серьезного воспаления желудка, оказывается статистически недостоверным. Любопытно, что авторы также измеряли 17 биохимических показателей, но никаких существенных отличий между группами свиней не обнаружили (то есть множественных сравнений было еще больше). Мы приходим к выводу, что исследователи не смогли продемонстрировать никаких достоверных отличий между свиньями, которые ели и не ели ГМ корм.

В 2014 году была опубликована статья, авторы которой сравнили содержание питательных веществ и микроэлементов в генетически модифицированной, обычной и “натуральной” (органической) сое155. Согласно их данным, в “натуральной” сое по сравнению с ГМ соей было больше белка (P = 0,003), неорганических соединений (P = 0,005), всех незаменимых аминокислот (P = 0,037) и из них в отдельности лизина (P = 0,002). Кроме того, в “натуральной” сое было больше аргинина (P = 0,04), бария (P = 0,00005) и цинка (P = 0,0002), но меньше пальмитиновой кислоты (P = 0,046), насыщенных жирных кислот (P = 0,001), линолевой кислоты (P = 0,01) и селена (P = 0,0003). Всего в работе приводилось 35 сравнений, которые необходимо учесть. После поправки уровень значимости а становится равным 0,05/35 = 0,00142, и остаются только четыре статистически достоверных отличия.

Во всех случаях достоверных отличий (и в целом) ГМ соя оказалась намного ближе к обычной сое, чем “натуральная". То есть мы говорим об отличиях между “натуральным” и обычным продуктом, а не об особых качествах ГМ сои. В “натуральной” сое по сравнению с ГМ и обычной соей больше бария. Этот достоверный результат в статье не обсуждается. Можно предположить, что барий не стали обсуждать в связи с некоторыми его сомнительными качествами. В высоких дозах этот элемент считается токсичным156, способным вызывать нарушения сердечного ритма157 и паралич158. Это происходит потому, что барий умеет нарушать работу клеточных каналов159, которые играют важную роль в работе нервных клеток. Впрочем, справедливости ради отметим, что количество бария в такой сое все равно невелико, поэтому едва ли подобные отличия имеют значение для потребителей. Как говорил Парацельс: “Все есть яд, и ничто не лишено ядовитости, одна лишь доза делает яд незаметным”.

В “натуральной” сое больше цинка, который тоже может быть токсичен в высоких концентрациях160, а еще в ней меньше селена, который, согласно некоторым исследованиям, полезен, так как имеет противораковые свойства161. Эти потенциально негативные качества органической сои в статье тоже не обсуждаются. Полезно ли употреблять продукт со сниженным содержанием насыщенных жирных кислот – вопрос, на который пока нет четкого ответа в научной литературе162, 163.

Поправка на множественные сравнения отсутствовала в еще одной работе, на которую часто ссылаются противники ГМО. В 2008 году Мануэла Малатеста164 и ее соавторы опубликовали статью о том, что у мышей, которые на протяжении двух лет (от рождения) ели ГМ сою, отмечены изменения в белковом составе печени по сравнению с контрольной группой. Все мыши, которые ели ГМО, дожили до конца эксперимента. Более того: никаких значительных патологий печени не было обнаружено ни у одной мыши.

Но авторы решили на этом не останавливаться и проанализировали содержание в печени более тысячи различных белков и еще несколько десятков других параметров. Сравнив некоторые проанализированные параметры, они нашли статистические отличия между группами (вплоть до P < 0,001). После поправки на множественные сравнения все эти различия перестают быть достоверными. Но даже если бы нашлись какие-то достоверные отличия между группами крыс – что с того? Допустим, состав пищи немного изменился, и печень, участвующая в обмене веществ, изменила характер своей работы. Сравните мышей, которые ели два сорта сои, и возможно, что без всяких ГМО вы получите куда большую разницу.

Работу Сералини я специально оставил напоследок. В данной работе авторы решили и вовсе пренебречь статистическим анализом. Зачем, если журналисты не будут читать статью дальше названия и аннотации? К чему порой приводит подобное пренебрежение, можно продемонстрировать следующим примером. Представьте, что у вас есть обычная монетка. Вы подкинули ее десять раз и увидели, что монетка выпала решкой два раза из десяти. После этого вы взмолились Тору, скандинавскому богу грома и бури, и попросили его, чтобы решка выпадала чаще. В следующем эксперименте решка выпала семь раз из десяти. И вот вы уже пишете научную статью, в которой заявляете, что молитва Тору в три с половиной раза увеличила шанс выпадения решки! Бог Тор не только существует и отвечает на молитвы, но и управляет монетками!

Никого не должно смущать, что обе серии бросков прекрасно вписываются в рамки предположения, что монетка в обоих случаях была одинаковая и абсолютно безупречная, а различия между сериями случайны. Ирония заключается в том, что логика в работе Сералини абсолютно аналогична! Разбор статьи Сералини будет излишне подробным. Но это, возможно, лучшая в истории науки демонстрация того, как не стоит проводить исследования.

Сералини взял 100 самцов и 100 самок крыс. Каждую сотню крыс случайным образом разбили на 10 групп по 10 крыс. Шесть групп каждого пола получали в своем рационе либо 11, либо 22, либо 33 % ГМ кукурузы, устойчивой к гербициду “Раундап” (Roundup). Им поливали при выращивании кукурузу, предназначенную в пищу трем из этих шести групп. Из оставшихся четырех групп три получали обычную кукурузу и воду с разной концентрацией “Раундапа”. В рацион крыс десятой, контрольной группы входила обычная кукуруза.

За животными наблюдали два года. В случае потери 25 % массы тела, развития больших опухолей (более 25 % массы тела) или кровоизлияний крыс досрочно усыпляли. При вскрытии изучались самые разные ткани и органы. Я перечислю все, чтобы можно было оценить количество сравнений: мозг, кишечник, сердце, почки, печень, легкие, яичники, селезенка, яички, надпочечники, придатки яичек, предстательная железа, вилочковая железа, матка, аорта, мочевой пузырь, кости, двенадцатиперстная кишка, пищевод, глаза, узлы подвздошной кишки, тощая кишка, лимфатические узлы, лимфоретикулярная система, молочные железы, поджелудочная железа, паращитовидная железа, пейеровы бляшки, гипофиз, слюнные железы, седалищный нерв, кожа, спинной мозг, желудок, щитовидная железа и трахея. Вроде ничего не забыл.

Авторы статьи пишут, что в контрольной группе средняя продолжительность жизни самцов составила 624 ±21 день, а самок – 701 ±20 дней, плюс 5 недель, которые составляли возраст животных на начало эксперимента, и еще 3 недели стабилизационного периода, когда крыс не подвергали экспериментальным воздействиям. Предполагается, что после этого “среднего" возраста крысы умирали от старости, а преждевременные смерти наступили из-за патологий. Здесь есть свои нюансы, но давайте считать, что до сих пор все сделано правильно.

До указанного “среднего" возраста погибло 30 % самцов и 20 % самок из контрольной группы. Но, пишут авторы, в некоторых группах крыс, которые ели ГМО, смертность достигала 50 % для самцов и 70 % для самок! Никакого статистического анализа, как уже упоминалось, в статье не приводится, поэтому мы сделаем его сами. Давайте подыграем Сералини и подберем группы так, чтобы разница между ними была наибольшая. Такая наблюдалась между самками из контрольной группы и группы, которая ела корм с 22 % содержанием ГМ кукурузы. Любопытно, что в группе, где корм включал 33 % ГМ кукурузы, смертность оказалась ниже. В контрольной группе умерли 2 крысы, 8 выжили. В группе с 22 % ГМ корма умерли 7 крыс, 3 выжили.

Для подсчета P-значения используем тест, который называется двусторонний тест Фишера (другие тесты дадут похожие результаты). Этот тест оценит вероятность по случайным причинам получить такие же или большие отличия при условии, что верна нулевая гипотеза: смертность в группах крыс одинаковая. Эта вероятность равна 0,0698 (P = 0,0698), а значит, даже по самым мягким статистическим критериям отвергнуть нулевую гипотезу на основании этих данных нельзя.

То есть даже самое большое отличие между группами крыс, которое мы наблюдаем в работе Сералини, является недостоверным с точки зрения статистики и объясняется случайным разбросом данных. Это без учета того, что имело место двенадцать множественных сравнений: разница могла быть получена между контрольной группой и любой из шести групп крыс каждого пола, которых кормили ГМО.

Теперь сравним два верных утверждения, из которых одно может ввести в заблуждение. Первое принадлежит Сералини: “В некоторых группах крыс, которые ели ГМО, смертность достигала 50 % для самцов и 70 % для самок, а в контрольных группах 30 % и 20 %". Второе получено с учетом статистического анализа: “Ни в одной группе крыс, которые ели ГМО, не было статистически значимых отличий в смертности по сравнению с контрольной группой".

Если бы эффект от питания ГМО действительно существовал, мы бы ожидали, что смертность крыс будет зависеть от количества ГМ кукурузы в корме, но, как мы видели, это не так. Для самцов наибольшая смертность наблюдалась в группе, которая ела корм с 11 % ГМО, для самок – с 22 % ГМО. Кроме того, к двум утверждениям можно добавить третье: “В некоторых группах самцов крыс, которые ели ГМО, смертность была 10 %, то есть в три раза ниже, чем в контрольной группе". Но эта фраза в статью не вошла.

Наименьшая смертность (10 %) отмечена в группах самцов крыс, получавших 22 % и 33 % ГМ кукурузы, а также в группе самцов, которые не ели ГМО, но получали максимальную концентрацию “Раундапа" с водой. Получается, что, если пренебречь статистическими тестами, как это сделал Сералини, и использовать аргумент молитвы к богу Тору, ГМО (и “Раундап”) увеличивают продолжительность жизни самцов крыс!

Но на этом разбор статьи Сералини не заканчивается! По мнению авторов, упоминания достоин тот факт, что у первых двух самцов, умерших в группах с ГМ питанием, были диагностированы опухоли почек, масса которых превышала 25 % массы тела. Чтобы оценить важность этого наблюдения, полезно знать, что наблюдаемый тип опухолей свойственен молодым животным и редко встречается у взрослых особей. А также, что, по имеющимся оценкам, 2,2 % крыс изучаемой линии имеют это заболевание165. Если вероятность возникновения опухоли по случайным причинам у одной крысы составляет 2,2 %, то хотя бы у двух крыс из шестидесяти (а именно таким было общее количество самцов в экспериментальных группах) опухоль возникнет с вероятностью 38 %.

С учетом размера контрольной группы (10 особей) вероятность, что опухоль не появится ни у одного из животных, равна 80 %. Перемножив эти вероятности, мы узнаем, каковы шансы, что хотя бы у двух крыс из шестидесяти, получавших ГМО, обнаружат опухоль, а все крысы из контрольной десятки останутся здоровыми. Такая вероятность составляет примерно 30 %, что отнюдь не мало. Опять мы видим, как статистика объясняет “замечательное" наблюдение.

Неудивительно, что крысы с описанным недугом первыми откидывают лапки, – ведь опухоль появляется в раннем возрасте. И даже если крыса от нее не умрет, животное усыпят согласно протоколу исследования, как только масса опухоли превысит 25 % массы тела. Снова сравните два верных утверждения, из которых одно вводит читателя в заблуждение. Сералини пишет: “Интересно отметить, что у первых двух самцов, умерших в группах, поедавших ГМО, были диагностированы опухоли почек массой более 25 % массы тела". Статистика поясняет: “Количество опухолей почек в группе крыс, которые ели ГМО, не превосходит ожидаемого количества опухолей данного типа для данной линии крыс".

Авторы приводят утверждение, что смертность самок на ГМО диете была в 2–3 раза выше, чем в контрольной группе. Из десяти самок контрольной группы преждевременно погибли две. В группах, которые ели ГМО, преждевременно погибли 29 из 60 крыс. Вероятность получить такое же или большее отличие между группами по случайным причинам равна 0,168, что не преодолевает даже самый мягкий порог статистической значимости.

Сравните два верных утверждения, из которых одно вводит в заблуждение. Сералини пишет: “Среди самок, которые ели ГМО, было в 2–3 раза больше смертей, чем в контрольной группе". Статистика поясняет: “Статистически значимых различий между смертностью в группе самок, которые ели ГМО, и группе самок, которые не ели ГМО, не обнаружено".

Помните огромный список органов, который анализировался в данной работе? Разумеется, среди множества разных органов наверняка найдутся такие, в которых у одной группы будет больше опухолей, чем у другой, – по совершенно случайным причинам. Сералини приводит только шесть комбинаций органа и пола крысы, а все остальные данные заметаются под ковер. Куда делись результаты по еще десяткам органов? Подозреваю, что те органы, в которых у крыс, употреблявших ГМО, обнаружилось меньше патологий (не потому, что ГМО предотвращают патологии, а потому, что так велит статистика), не были представлены. Ведь это был бы абсурд! Мы все-таки вред, а не пользу ГМО доказываем! Хотелось бы взглянуть на данные по всем органам, но вот сюрприз: Сералини отказался их предоставить, когда его об этом попросили!

Остается посмотреть на те данные, что отобрал сам Сералини. Самое большое из обнаруженных различий заключалось в частоте патологий печени. В контроле две крысы имели патологии печени, а в группах, которые ели ГМО, – 30 крыс из 60. Этот результат не является статистически достоверным (P = 0,076). А мы ведь даже не учли, что в исследовании смотрели на патологии десятков органов, причем крыс разного пола рассматривали отдельно.

Сравните два верных утверждения, из которых одно вводит читателя в заблуждение. Сералини пишет: “Крысы-самцы, которые ели ГМО, в два раза чаще имели патологии печени". Статистка поясняет: “Статистически достоверных различий в количестве патологий печени или каких-либо других органов между крысами, которые ели или не ели ГМО, не обнаружено".

В конце статьи приводятся шокирующие изображения крыс, которые ели ГМО и получили страшные опухоли на половину тела. Эти фотографии производят впечатление на тех, кто никогда в жизни не видел других крыс, которые выглядят так же или даже хуже, но никогда ГМО и не пробовали. Как выглядели крысы с опухолями из контрольной группы, Сералини нам не показывает. А такие крысы были, как видно из результатов исследований. Сделав аналогичное наблюдение, профессор Тревавас задается вопросом: насколько этично держать крыс в таких условиях исключительно ради того, чтобы получить снимки, которые можно использовать разве что только для пропаганды?

Крыс с опухолями не могло не быть, ведь линия крыс Sprague-Dawley, которую использовал Сералини, была выведена специально для изучения процесса появления рака у млекопитающих! Это крысы с чрезвычайно высокой частотой появления опухолей. В течение 18 месяцев раковые опухоли образуются примерно у 45 % крыс166 (упомянутые ранее 2,2 % касались конкретного типа опухолей почек). Но фотографии этих крыс до сих пор показывают по телевизору в различных передачах и фильмах о вреде ГМО.

Создается впечатление, что авторы ставили целью не разобраться в том, как ГМО действует на крыс, а рассказать историю пострашнее – и в этом они преуспели. Несмотря на очевидную ангажированность, подтасовки и намеренное выискивание закономерностей, подтверждающих вред ГМО, Сералини не смог показать ни одного статистически достоверного отличия между группами крыс, которые ели ГМ корм, и контрольной группой.

Продолжу цитировать профессора Треваваса: “Наука требует беспристрастной подачи информации. Эта статья и опубликовавший ее журнал серьезно подрывают доверие к научному знанию, основанному на доказательствах. Дабы исправить положение, статью необходимо отозвать, а авторам надлежит извиниться за то, что ввели в заблуждение общественность и научное сообщество. Я твердо намерен направить запрос в библиотеку моего университета, чтобы она больше не принимала журналы издательства Elsevier или конкретно этот журнал, если таковы стандарты их работы. Идеология и политика должны оставаться за пределами научного исследования, или мы все пострадаем”137.

Может, конечно, и не стоило так подробно расписывать ошибки в работе Сералини, особенно учитывая, что не каждый в полной мере оценит надругательство над наукой, учиненное этим исследователем. Но я попытался показать, что разговор об ошибках в статье из научного журнала не сводится к слепому неприятию и отрицанию. Критики, внимательно прочитали статью, ознакомились с доводами авторов и нашли серьезные ошибки, существование которых можно подтвердить соответствующими выкладками.

Когда работу Сералини отозвали124 (статью убрали с сайта, а вместо нее опубликовали письмо о том, что статья больше не числится в журнале), исследователь попытался подать на журнал в суд. Его сторонники писали, что отзыв статьи – это козни производителей ГМО. Естественно, они не стали разбираться в том, за что работу критиковали. Вскоре статья Сералини была переопубликована уже в новом, на этот раз никому не известном журнале, который называется Environmental Sciences Europe. Статья вышла без рецензий и исправления ошибок. В ней те же самые крысы и то же пренебрежение статистикой и научным методом. Журнал Nature опубликовал заметку, в которой было отмечено, что смена журнала не убеждает критиков в способности ГМ кукурузы вызывать болезни крыс.

Часто журналисты получают копии важных научных работ до публикации под соглашение о неразглашении. Благодаря этому они имеют возможность заранее подготовить статьи, проконсультироваться со специалистами, но не имеют права раньше назначенного времени публиковать свои материалы. Это нормальная практика, но в случае работы Сералини соглашение было необычным. Журналистов, получивших заранее копии статьи, заставили подписать соглашение, что при подготовке материалов они не будут консультироваться с экспертами со стороны. Это привело к волне публикаций с заголовками в стиле “Ученые доказали опасность ГМО" или “ГМ кукуруза вызывает рак", не сбалансированных комментариями независимых специалистов.

Одновременно с выходом статьи Сералини выпускает фильм с устрашающим названием “Мы все подопытные".

Разумеется, эта пиар-кампания, пародирующая научную деятельность, существенно повлияла на общественное мнение о безопасности генной инженерии. К тому времени, как эксперты подтянулись и нашли в работе многочисленные ошибки, ущерб уже был нанесен. “Ложечки нашлись, а осадок остался".

Вообще статей, описывающих опасности ГМО, на удивление мало, учитывая общее количество публикаций про такие организмы: только за последние десять лет опубликовано более полутора тысяч исследований167. Если мы с таким же старанием и рвением попытаемся проверить безопасность чего-нибудь совсем безобидного, например обычных бананов, мы наверняка по чистой случайности наткнемся на какие-то потенциальные эффекты от их употребления или выращивания, которые можно будет назвать “нежелательными”. Даже если на самом деле таких эффектов нет.

При этом достаточно лишь одной низкокачественной работы о вреде ГМО или одного ложноположительного результата, чтобы поднять массовую истерию и похоронить труды тысяч ученых и сотен популяризаторов науки. Социальные последствия не исправят никакие разборы, отзывы статей из журналов и указания на отсутствие воспроизводимости результатов. Поэтому, когда вы снова услышите громкие слова об ученых, которые доказали вред ГМО, задайте себе вопрос: а не очередной ли это Сералини?

Завершая краткий экскурс в статистику, я бы хотел затронуть еще одну интерпретацию понятия “вероятность”. В байесовской статистике вероятность определяется не как частота какого-то события, а как степень уверенности в истинности суждения. Гипотезы не строго отвергаются на основании статистических тестов – им приписываются вероятности. Попробуем продемонстрировать ситуацию, когда классическая статистика с ее P-значениями проигрывает байесовской.

Представьте, что пациент прошел тест на ВИЧ. Этот тест с вероятностью 96 % правильно определяет наличие или отсутствие данного вируса. Тест показал, что пациент ВИЧ-положительный. Вероятность случайной ошибки здесь меньше, чем порог статистической значимости а (0,05). Означает ли это, что нам стоит отвергнуть нулевую гипотезу, принять альтернативную – что пациент инфицирован – и предложить ему срочно лечиться? Казалось бы, да. Но байесовская статистика предлагает посмотреть и на саму вероятность быть зараженным. По данным ВОЗ, в России ВИЧ-инфицированы около 1 % населения, но это меньше, чем вероятность ошибки в тесте!

Действительно, из 100 тысяч человек 1000 будут ВИЧ-инфицированы. Из 99 тысяч здоровых людей 95040, пройдя тест, получат отрицательный результат и 3960 – положительный. Из 1000 зараженных 960 получат положительный диагноз, а 40 – отрицательный. Из 4920 ВИЧ-положительных только 960 человек на самом деле заражены, то есть с вероятностью больше 80 % наш пациент окажется здоровым! Поэтому очень важно пройти повторное тестирование, желательно независимыми методами. Только когда вероятность ошибки станет меньше, чем вероятность верного диагноза, имеет смысл начинать переживать всерьез. Первый тест является веским основанием для проведения второго, но не является приговором. Отмечу, что цифры я использовал приблизительные, а реальные тесты могут иметь точность отличную от приведенной.

В случае с ГМО потребуются очень веские доказательства вреда, чтобы перевесить массу противоречащих этому экспериментальных данных и знаний в области молекулярной биологии. Но не стоит забывать, что генная инженерия – это технология. Функция гена, который внедряется в геном организма, определяет эффект, а не сам процесс генной модификации. Если мы перенесем в геном растения ген, отвечающий за синтез токсина, – мы получим ядовитое растение. Но это не означает, что вся технология порочна или чем-то хуже обычной селекции, как норовят представить многие противники ГМО. Только Арпад Пуштаи пытался обосновать, что сама генная модификация, независимо от переносимого гена, может быть опасна, но в итоге скорее показал обратное. Так или иначе, неспособность даже самых ярых противников генной инженерии продемонстрировать опасность ГМО является косвенным, хоть и не главным аргументом в пользу безопасности этих организмов.

Глава 8