Как Стюарт Ричи разоблачил системные фальсификации в доказательной медицине

The Jordan Harbinger Show 1,4 тыс. 1 ч 15 мин 11 мин 13.12.2020
Главное

Доверие к науке — один из главных столпов современного общества, однако за кулисами академических институтов скрываются серьезные системные изъяны. В новом выпуске подкаста «The Jordan Harbinger Show» ведущий Джордан Харбингер и шотландский психолог Стюарт Ричи обсуждают кризис репликации, предвзятость публикаций и шокирующие случаи преднамеренного обмана в медицине. Эта беседа обнажает изнанку научной индустрии, где погоня за сенсациями, цитированиями и финансированием порой ставит под угрозу человеческие жизни.

🔮 Экстрасенсы, порнография и начало кризиса репликации 0:48

История масштабного кризиса доверия в психологии началась с курьезного, на первый взгляд, исследования. По авторитетному мнению профессора Корнеллского университета Дэрила Бема, люди обладают латентными экстрасенсорными способностями. В 2011 году Бем опубликовал статью в авторитетном рецензируемом психологическом журнале, заявив, что студенты могут предсказывать появление эротического контента на экране компьютера.

Эксперимент строился по стандартной схеме: участникам показывали два изображения штор и предлагали угадать, за каким из них скрывается картинка. Если за шторой находился нейтральный объект (например, дерево или стул), результаты составляли ожидаемые 50/50. Однако, когда компьютер случайным образом прятал за ширмой порнографические кадры, студенты угадывали правильный вариант в 51,3% или 53,1% случаев. Этот микроскопический сдвиг оказался статистически значимым. Более того, при размещении за шторами пугающих или жестоких снимков испытуемые, согласно выводам Бема, интуитивно избегали их.

Стюарт Ричи и его коллеги из Эдинбургского университета попытались повторить эксперимент Бема, сосредоточившись на нейтральной части исследования с запоминанием списков слов. Ученые не обнаружили никаких экстрасенсорных эффектов. Однако, когда они отправили свою опровергающую работу в тот же журнал, редакция ответила отказом, заявив, что публикации репликационных исследований их не интересуют.

По мнению Стюарта Ричи, Бем не совершал намеренного мошенничества, но его работа наглядно показала, как стандартные статистические методы позволяют легитимизировать абсурдные выводы. В мире парапсихологии, которую критики называют «шутом при дворе науки», существует множество искренне верующих специалистов. Они убеждены, что эволюция наделила человека едва заметным механизмом предчувствия эротических стимулов ради выживания. На практике же подобные результаты оказываются лишь следствием манипуляций со статистическими флуктуациями и «шумом» в данных.

📊 Иллюзия позитива: почему научные журналы скрывают неудачи 8:31

Абсолютное большинство публикуемых сегодня научных работ содержат исключительно положительные результаты, подтверждающие исходные гипотезы. В таких областях, как психология и психиатрия, этот показатель превышает 90%. Это означает, что научная литература транслирует приукрашенный, «розовый» взгляд на реальность, не отражающий реальный ход исследований. Научные журналы охотно берут яркие первоначальные открытия, но игнорируют скучные или негативные исходы.

Особенно сильно эта проблема бьет по диетологии и исследованиям в сфере питания. Информационное пространство переполнено громкими заголовками о том, что употребление красного перца способно вдвое снизить риск развития рака. На самом деле ученые работают с колоссальными массивами данных, где люди пытаются вспомнить свой рацион за последние две недели. Если копаться в такой статистике достаточно долго, математика неизбежно выдаст ложные корреляции между любыми продуктами и болезнями — будь то яйца, молоко или красное вино. В результате общество лишается надежных ориентиров в вопросах здоровья.

Движение за преодоление кризиса репликации, начавшееся в 2011 году, вызвало волну недовольства среди академиков старой школы. Многие специалисты построили свои карьеры исключительно на публикации позитивных результатов и восприняли критику как угрозу своему статусу.

📦 Феномен прайминга и «эффект позы силы» 13:39

Долгое время в социальной психологии доминировала мода на исследования так называемого прайминга — бессознательного влияния факторов окружающей среды на поведение человека. Стюарт Ричи приводит в пример эксперимент на креативность, где студентам предлагали придумать способы использования обычного кирпича. Участников сажали либо внутрь большой картонной коробки, либо рядом с ней. Исследователи утверждали, что те, кто сидел снаружи — то есть буквально «мыслил вне коробки» (согласно английской идиоме thinking outside the box), — показали значительно более высокие результаты.

Подобные теории пользовались огромным спросом. Утверждалось, что чашка теплого кофе в руках заставляет человека метафорически теплее относиться к своим близким по сравнению с чашкой холодной воды. Эти данные проникли даже в фундаментальные научно-популярные труды. Так, лауреат Нобелевской премии Даниэль Канеман в своем бестселлере «Думай медленно... решай быстро» утверждал, что у читателя нет другого выбора, кроме как безоговорочно поверить в истинность эффектов прайминга. Спустя годы, под давлением провалившихся репликаций, Канеман публично признал, что был излишне категоричен и совершил ошибку. Другие смежные исследования, вроде тезиса о том, что поездка на верхнем эскалаторе делает человека высокомерным, и вовсе оказались сфабрикованными.

Еще более громкий скандал развернулся вокруг концепции «позы силы» (power posing) Эми Кадди. Ее выступление на TED собрало десятки миллионов просмотров, став вторым по популярности за всю историю платформы. Кадди утверждала, что доминантный язык тела (например, широкие жесты или поднятые вверх руки) физиологически меняет гормональный фон и придает уверенность.

Однако вся теория базировалась на исследовании с участием всего 42 человек. Позже ведущий автор этой работы, Дэйна Карни из Беркли, открыто заявила, что больше не верит в данный эффект. Она призналась, что в процессе анализа данных они исключали «неудобных» участников, подгоняли статистику под желаемый результат и замалчивали негативные маркеры. Независимые попытки повторить эксперимент полностью разрушили заявления о росте уровня тестостерона от принятия поз.

По мнению Стюарта Ричи, ученые должны радикально расширить понятие конфликта интересов. Сегодня исследователи обязаны декларировать гранты от фармацевтических гигантов вроде AstraZeneca или Pfizer. Но никто не указывает в качестве конфликта интересов тот факт, что автор написал бестселлер или прочитал лекцию на TED, и признание неэффективности метода нанесет ему колоссальный экономический и репутационный ущерб.

🫁 Смертельный обман: трагедия Паоло Маккиарини 31:08

Если манипуляции в психологии чаще всего бьют по репутациям, то фальсификации в медицине убивают людей. Настоящим кошмаром для научного сообщества стало дело пластического хирурга Паоло Маккиарини, работавшего в шведском Каролинском институте — учреждении, где вручается Нобелевская премия по медицине и физиологии.

Маккиарини заявил об историческом прорыве в трансплантологии: он создавал искусственные пластиковые каркасы трахей, заселял их собственными стволовыми клетками пациентов и пересаживал больным. Предполагалось, что благодаря стволовым клеткам иммунная система не будет отторгать чужеродный материал. Хирург опубликовал триумфальные статьи в авторитетнейшем медицинском журнале The Lancet и ряде других изданий.

На самом деле Маккиарини цинично лгал, фабрикуя данные о состоянии пациентов. Большинство прооперированных им людей мучительно гибли. Один из пациентов скончался еще до того, как статья о его успешном излечении вышла в печать, но это не остановило автора. На второй базе операций в России ситуация была катастрофической. Ричи описывает свидетельства очевидцев: у людей буквально гнили шеи, из свищей постоянно вытекал гной. В США после аналогичной процедуры стремительно умер маленький ребенок. Вся доказательная база на крысах также была полностью сфальсифицирована.

Маккиарини оказался классическим социопатом и международным аферистом. Журнал Vanity Fair провел расследование его личной жизни. Закрутив роман с продюсером телеканала NBC, хирург утверждал, что является личным врачом Папы Римского, который лично обвенчает их, а среди гостей на свадьбе будут Барак Обама и Элтон Джон. В реальности Маккиарини был давно женат и имел детей, а Ватикан никогда не слышал его имени.

Самое страшное, по мнению собеседников, заключается в том, как долго академическая система защищала мошенника. Члены Нобелевского комитета лоббировали его наем, а когда другие врачи-инсайдеры забили тревогу, руководство Каролинского института проигнорировал выводы независимого расследования о мошенничестве. Журнал The Lancet даже выпустил передовицу, заявляя о невиновности Маккиарини. Лишь после выхода шведского документального фильма, показавшего умирающих пациентов, институты были вынуждены капитулировать.

💉 Рекордсмены фальсификаций и «охота» на чистые данные 41:45

Реальные научные данные всегда хаотичны и содержат погрешности: кто-то из испытуемых неправильно заполнил анкету, чьи-то показатели выбиваются из общего ряда. Идеально чистые, симметричные цифры в отчетах — главный признак подделки. Однако ученые часто прибегают к так называемому p-hacking (манипулированию данными ради достижения заветного индекса статистической значимости $p < 0.05$) или используют «ошибку техасского стрелка».

Аналогия: Ошибка техасского стрелка заключается в том, что человек сначала хаотично стреляет по стене амбара, а затем находит самое кучное скопление пулевых отверстий и рисует вокруг них мишень.

Абсолютным мировым рекордсменом по фальсификациям признан японский анестезиолог Йоситака Фудзии — на его счету 182 отозванные научные статьи. Проанализировав его публикации за десятилетие, эксперты обнаружили, что данные контрольных и экспериментальных групп в испытаниях новых анестезиологических препаратов имели математически невозможную, идентичную вариативность. Из огромного наследия Фудзии лишь три работы, возможно, имели под собой реальную основу. Первые подозрения у коллег возникли еще за 10 лет до его разоблачения: тогда вышла статья с ироничным названием «Статистика, предоставленная Фудзии, слишком хороша», но система позволила ему публиковать фальшивки еще целое десятилетие.

Помимо текстовых данных, биологи часто прибегают к банальному фотошопу. Они зеркально отображают снимки клеток под микроскопом, меняют их цвет или контрастность, выдавая одно и то же изображение за результаты разных экспериментов. В настоящее время ученые пытаются внедрить алгоритмы искусственного интеллекта для автоматического сканирования архивов и поиска подобных дубликатов.

Статистика отзывов (ретракций) научных статей показывает следующую картину:

🇨🇳 Идеология против фактов: наука в тоталитарных режимах 53:40

Большой объем сомнительных и сфабрикованных исследований сегодня поступает из развивающихся стран, в частности из Китая и Индии. Ссылаясь на мнение доктора Стивен Новеллы, Стюарт Ричи отмечает, что тоталитарные политические режимы органически не способны поддерживать условия для свободного обмена мнениями и здоровой научной критики.

Ярким примером служат клинические испытания акупунктуры (иглоукалывания) в КНР: 100% местных исследований показывают, что этот метод работает. С точки зрения математики такой результат невозможен, ведь даже при эффективности лечения часть тестов всегда дает сбой из-за шума и случайных факторов. Но поскольку акупунктура является частью традиционной китайской медицины, которую лично кодифицировал председатель Мао Цзэдун, Компартия Китая активно поощряет и субсидирует ученых, подтверждающих «правильную» государственную повестку.

История знает и куда более трагические примеры идеологического вмешательства в биологию:

  1. Лысенковщина в СССР: Академик Трофим Лысенко отверг классическую генетику, назвав её буржуазной лженаукой, и продвигал ламаркистскую концепцию наследования приобретенных признаков (идея о том, что если тренировать мышцы, то у детей они вырастут сами).
  2. Репрессии против ученых: Генетики, спорившие с Лысенко, подверглись чисткам и преследованиям.
  3. Массовый голод: Навязывание ненаучных методов селекции и агрономии, по мнению историков, внесло существенный вклад в масштабный голод в СССР и маоистском Китае, унесший миллионы жизней.

Западная наука также подвержена политической поляризации. Во время пандемии COVID-19 ведущие медицинские журналы мира (The Lancet и New England Journal of Medicine) были вынуждены спешно отзывать громкую статью, утверждавшую, что препарат гидроксихлорохин смертельно опасен для пациентов. Ричи высказывает подозрение, что авторы и рецензенты сознательно закрыли глаза на очевидные дыры в данных лишь потому, что им очень хотелось научно опровергнуть заявления Дональда Трампа, публично рекламировавшего это лекарство. Поскольку большинство ученых придерживаются либеральных взглядов, их собственная предвзятость сыграла с ними злую шутку.

💊 Манипуляции в фармацевтике и заговор молчания 1:01:13

В индустрии коммерческих лекарственных средств фальсификации часто маскируются под легальную процедуру «смены конечных точек» (outcome switching). В начале XXI века регуляторы обязали фармкомпании регистрировать все испытания на людях на платформе clinicaltrials.gov до их начала. Производитель обязан четко указать, какой эффект он проверяет (например, снижение смертности от коронавируса).

Если в ходе эксперимента выясняется, что препарат никак не влияет на вирус, но у пациентов, к примеру, стали чуть реже болеть головы, авторы переписывают статью. Они делают вид, будто изначально разрабатывали и тестировали средство от головной боли. Из-за этой манипуляции рынок наполняется неэффективными лекарствами, которые победили только на бумаге благодаря статистическому шуму.

При этом разоблачение академического брака часто сталкивается с сопротивлением внутри самого сообщества. Ричи рассказывает, что после выхода его книги он получил гневное письмо от профессора химии из Калифорнийского университета. Тот признал правоту Ричи по всем фактам, но обвинил его в нанесении ущерба науке. Позиция профессора сводилась к тому, что ученые должны обсуждать свои проблемы тайно, в «башне из слоновой кости», не показывая их рядовым гражданам.

Стюарт Ричи считает такой подход катастрофическим. Именно «заговор молчания» со стороны официальных институтов подпитывает безумные конспирологические теории о чипах в вакцинах. Когда в 1998 году Эндрю Уэйкфилд опубликовал фальсифицированное исследование о связи вакцины MMR и аутизма, медицинское сообщество долго раскачивалось с ответом. Сегодня доказано, что MMR безопасна, но антивакцинаторы до сих пор используют старую ложь. Деятели псевдонауки никогда не отзывают свои манипулятивные статьи и не критикуют коллег по цеху, в отличие от настоящих ученых.

«Чарльз Дарвин говорил, что у ученого должно быть каменное сердце к результатам собственных исследований. Если эксперимент доказал, что твоя любимая теория неверна, ты обязан опубликовать этот провал точно так же, как опубликовал бы триумф», — напоминает Ричи.

🛠 Как починить сломанные стимулы науки? 1:12:59

Корнем зла в текущей ситуации является извращенная система академических стимулов. Чтобы получить бессрочный контракт (тенюре), лабораторию или грант, ученый обязан выдавать как можно больше публикаций. Это заставляет систему производить терабайты низкосортного информационного мусора.

Для исправления ситуации Ричи предлагает ряд системных реформ:

Только полная прозрачность и готовность выносить сор из академической избы способны вернуть доверие к научному методу.

💬 Цитаты

«В психологии и психиатрии было показано, что более 90 процентов исследований находят положительные доказательства проверяемой гипотезы.»

Стюарт Ричи 10:28

«Чарльз Дарвин описывал это так: ученые должны иметь каменное сердце, когда дело касается результатов.»

Стюарт Ричи 11:16

«Что происходит, когда мы теряем часть той прозрачности, которая является краеугольным камнем научного процесса?»

Джордан Харбингер 0:00
👥 Спикеры
📚 Упомянутые книги
🎬 Упомянутые фильмы и сериалы
🔗 Упомянутые сайты и проекты
📖 Термины
Кризис репликации
Методологический кризис, при котором результаты многих научных исследований не могут быть независимо повторены другими учеными.
P-hacking
Манипуляция со сбором данных или статистическим анализом ради получения искусственно заниженного индекса значимости p < 0.05.
Изменение конечных точек
Уловка фармкомпаний, при которой заявляемая цель клинического испытания меняется уже после получения реальных результатов.
Прайминг
Эффект фиксации, когда неосознаваемые внешние стимулы (запахи, слова, позы) якобы жестко предопределяют поведение человека.
📊 Цифры
⚖️ Другая сторона
Наука Стюарт Ричи кризис репликации Паоло Маккиарини The Jordan Harbinger Show