# Ловушки выборки: как парадокс Берксона и ошибка коллайдера искажают реальность Источник: https://www.youtube.com/watch?v=8rUm46mk0Yo Канал: Talks at Google Опубликовано: 03.05.2024 --- В рамках цикла лекций Talks at Google известный профессор и автор Аллен Дауни (Allen Downey) представил свою книгу «Probably Overthinking It». Спикер подробно разобрал, как скрытые дефекты выборки и ложные статистические парадоксы заставляют исследователей и обывателей делать в корне неверные выводы из абсолютно корректных данных. В центре внимания автора оказались медицинские аномалии, особенности отбора в университеты и повседневные ловушки мышления, которые влияют на принятие решений в реальной жизни. ## 📊 Как статистика вводит в заблуждение: три медицинских парадокса [[JUMP:03:13]] В эпидемиологии и медицине существует ряд феноменов, которые десятилетиями ставили ученых в тупик, порождая ложные выводы и опасные публикации в прессе. Аллен Дауни подробно остановился на трех классических аномалиях, иллюстрирующих системные ошибки анализа данных. Первым и наиболее резонансным примером стал «парадокс малой массы тела при рождении» (Low Birthweight Paradox), впервые описанный в исследовании калифорнийского ученого Ярушалми (Yerushalmi) в 1971 году. Исследователь изучал влияние курения матерей на здоровье новорожденных и зафиксировал несколько фактов: * Младенцы, чьи матери курили во время беременности, в среднем весят меньше на 6% и чаще классифицируются как новорожденные с низкой массой тела. * Общий уровень младенческой смертности в 1970-х годах составлял около 8 на 1000, однако для детей с низкой массой тела этот показатель возрастал до 170 на 1000. Удивление исследователей вызвало то, что при изолированном рассмотрении только группы детей с низкой массой тела смертность младенцев, чьи матери курили, оказалась почти в два раза ниже, чем у некурящих матерей. Из-за этой аномалии автор работы усомнился в экзогенном вреде курения. Пресса тут же подхватила эту новость, опубликовав статьи с заголовками в духе «Матерям не о чем беспокоиться» или материалы в защиту курящих мам в журнале Family Health. По данным ретроспективного анализа 2014 года, эта ошибка затормозила внедрение антитабачных мер примерно на десять лет, что имело реальные трагические последствия для человеческих жизней. Второй аналогичный пример — «парадокс ожирения» (Obesity Paradox), описанный в научной работе 1999 года. Исследователи изучали взаимосвязь между избыточным весом, болезнями почек и смертностью. Известно, что ожирение может провоцировать почечную недостаточность, а сами заболевания почек повышают риск летального исхода. Однако статистика показала, что среди пациентов, уже проходящих лечение от почечной недостаточности, люди с ожирением жили дольше. Ученые предположили, что жировая ткань якобы защищает организм от дефицита энергии. Это привело к многолетним дискуссиям, отраженным в заголовках статей с 2006 по 2019 год, где авторы пытались разобраться, является ли этот парадокс фактом или вымыслом. Третий пример — «парадокс близнецов» (Twin Paradox), опубликованный в 2000 году. Он касается смертности при многоплодной беременности в зависимости от гестационного возраста. Статистически близнецы чаще рождаются преждевременно, а недоношенные дети имеют более высокую смертность. Но если проанализировать исключительно недоношенные роды, выясняется, что у двойняшек и тройняшек уровень смертности ниже, чем у одиночных младенцев. В качестве гипотезы выдвигалось мнение, что близнецы обладают лучшим здоровьем до 36-й недели беременности. По словам Аллена Дауни, все эти случаи объединяет одна и та же фундаментальная статистическая ошибка. --- ## 🎯 Механика ошибки: парадокс Берксона на примере тестов SAT [[JUMP:08:22]] Все перечисленные медицинские аномалии представляют собой проявление парадокса Берксона (Berkson's paradox), который фактически является не парадоксом, а специфической формой систематической ошибки отбора (sampling bias), известной также как ошибка коллайдера. Чтобы наглядно объяснить ее суть, спикер предложил рассмотреть корреляцию между вербальной и математической частями стандартизированных американских тестов SAT или ACT. Данные долгосрочного национального исследования молодежи (National Longitudinal Surveys of Youth), охватывающего выборку примерно в 1000 человек, демонстрируют сильную положительную корреляцию между этими навыками. На общем графике видно, что коэффициент корреляции составляет около 0,7. Это означает, что если вербальный балл человека находится выше среднего уровня (например, 600 баллов), то и его математический результат с высокой вероятностью окажется повышенным (около 570 баллов). Однако картина кардинально меняется, если исследовать распределение баллов не в рамках всего населения, а среди студентов конкретного университета. Аллен Дауни смоделировал две гипотетические ситуации: 1. **Элитный университет (Elite University):** Для поступления требуется, чтобы сумма вербального и математического баллов составляла не менее 1320. На графике все абитуриенты с низкими баллами отсекаются, а линия регрессии для поступивших приобретает отрицательный наклон. Внутри этого вуза корреляция между навыками падает до -0,3. Если студент элитного вуза демонстрирует вербальный балл выше среднего по кампусу, математический балл у него, скорее всего, окажется ниже локального среднего уровня. 2. **Вуз второго эшелона (Secondtier College):** Предположим, для зачисления нужен суммарный балл от 1200, но лучшие абитуриенты с баллами выше 1300 уходят в более престижные заведения. В такой специфической выборке «среза» из середины распределения возникает искусственная, крайне мощная отрицательная корреляция на уровне -0,8. Таким образом, в зависимости от критериев отбора исследователи могут получить практически любой коэффициент корреляции в подвыборке, полностью искажающий реальную картину генеральной совокупности. --- ## 🌮 От красивых парней до невзрачных закусочных: парадокс Берксона в реальной жизни [[JUMP:13:15]] По мнению Аллена Дауни, как только человек осознает суть парадокса Берксона, он начинает замечать его проявления повсюду в повседневной жизни. Спикер привел несколько ярких примеров и аналогий от известных исследователей и популяризаторов науки. ### Личные отношения по Джордану Элленбергу Математик Джордан Элленберг описал парадокс Берксона через призму поиска партнера. Представим систему координат, где одна ось — привлекательность мужчины, а другая — его личные качества (доброта). В масштабах всего населения эти признаки могут быть никак не связаны. Однако человек формирует условный «треугольник приемлемых партнеров» в верхнем правом углу. Непривлекательные и при этом злые мужчины отсекаются сразу. В результате в выборке «доступных для свидания» мужчин среди самых привлекательных будут встречаться как добрые, так и злые, а вот относительно непривлекательный мужчина в этой группе обязательно окажется очень добрым. Процесс личного отбора искусственно создает иллюзию, что все красивые мужчины эгоистичны, а добрые — непривлекательны. ### Книги и их экранизации по Ханне Фрай Популяризатор математики Ханна Фрай на YouTube-канале Numberphile объяснила, почему экранизации романов почти всегда кажутся хуже оригинальных книг. Если нанести на оси координат качество книги и качество фильма, то плохой фильм по плохой книге просто никто не станет смотреть и обсуждать — он останется неизвестным. Продукт привлекает внимание аудитории только в том случае, если либо книга была шедевром, либо фильм получился великолепным. Из-за этого искусственного барьера восприятия возникает ложная отрицательная корреляция: зрителю кажется, что хорошая книга гарантирует провальную экранизацию. ### Феномен невзрачных ресторанов Аллен Дауни поделился собственным опытом разбора шуточного твита об идеальной мексиканской закусочной. В твите описывалось место с потрясающими буррито, которое при этом выглядит убого, еда подается в пенопласте, а сайт выдает ошибку 404. Автор с юмором отметил, что разрушил шутку, объяснив ее парадоксом Берксона через свой блог: у ресторана есть два пути к успеху — либо классный интерьер и маркетинг, либо невероятно вкусная еда. Если интерьер ужасен, заведение выживает исключительно за счет качества кухни. Эту логику подтверждает экономист Тайлер Коуэн (Tyler Cowen), который считает, что блюдо попадает и удерживается в меню либо потому, что оно аппетитно звучит, либо потому, что оно потрясающе вкусное вопреки невзрачному описанию. Исходя из этого, Коуэн рекомендует всегда заказывать самое непривлекательное блюдо в меню. В качестве шутливого итога Аллен Дауни сформулировал «идеальный план для свидания»: найти непривлекательного партнера (ведь он точно будет добрым), повести его в невзрачный ресторан в промзоне, заказать там самое неаппетитное блюдо, а затем отправиться на фильм, снятый по плохой книге. --- ## 🕸️ Причинно-следственные диаграммы и феномен коллайдера [[JUMP:18:57]] Для научного объяснения медицинских парадоксов исследователи используют направленные ациклические графы — причинно-следственные диаграммы. В 2006 году ученые Эрнандес-Диас (Hernandez-Diaz), Шистерман (Schisterman) и Эрнан (Hernan) опубликовали знаковую работу, где на основе данных Национального центра медицинской статистики США по 3 миллионам младенцев за 1991 год окончательно развенчали парадокс малой массы тела. На графиках распределения черко видно, что дети курящих матерей действительно смещены в сторону меньшего веса. При этом на графике зависимости смертности от веса наблюдается точка пересечения: выше 2000 граммов смертность детей курильщиков выше, а ниже этой границы — парадоксально ниже. Ученые объяснили это с помощью причинно-следственной сети, где стрелка от фактора A к фактору B означает наличие причинной связи в формате контрфактуала (если бы не A, то не произошло бы B): * Курение матери является причиной как низкой массы тела ребенка, так и его смертности. * Существуют другие, зачастую неизвестные или тяжелые генетические факторы и врожденные дефекты, которые также вызывают низкую массу тела и высокую смертность. Когда аналитики искусственно ограничивают выборку только детьми с малым весом, этот признак становится «коллайдером» (collider) — точкой, в которой сходятся (сталкиваются) две независимые стрелки причинности. Если у ребенка малый вес, но при этом известно, что его мать курила, вероятность наличия у него смертельно опасного врожденного дефекта падает. Курение — это плохо, но из всех зол, способных снизить вес младенца, оно наименее разрушительно по сравнению с тяжелыми патологиями развития. Автор назвал этот эффект «тостером Берксона»: если вы чувствуете запах дыма на кухне и видите горящий тост, вы испытываете облегчение, ведь это лучшая из всех возможных причин задымления. Аналогичным образом в 2017 году был деконструирован парадокс ожирения: избыточный вес ведет к сердечной недостаточности, но и другие тяжелые скрытые факторы ведут к ней же. В выборке пациентов с сердечной недостаточностью ожирение выступает индикатором того, что болезнь вызвана не более опасными скрытыми патологиями. А парадокс близнецов был успешно объяснен авторами в том же выпуске журнала, где его изначально опубликовали в 2000 году: многоплодная беременность — самая «безобидная» причина преждевременных родов. Аллен Дауни подчеркнул, что введение коллайдера в качестве контролирующей переменной в регрессионных моделях — это грубейшая ошибка, способная полностью перевернуть знак корреляции с плюса на минус. Спикер выразил скепсис по поводу недавних громких исследований, утверждающих, что среди диабетиков употребление мороженого снижает риск болезней сердца, а среди полных людей молочные десерты снижают резистентность к инсулину. По мнению автора, формулировки «среди диабетиков» и «среди полных людей» прямо указывают на ошибку коллайдера. В контексте анализа данных спикер выделил три ключевых понятия: * **Коллайдер (Collider):** Переменная, на которую направлены стрелки от двух разных причин. Контроль по ней искажает связь между причинами. * **Медиатор (Mediator):** Промежуточное звено в цепочке причинности ($A \to B \to C$). Иллюстрацией ошибки контроля медиатора служит «парадокс Эвереста»: если в модели зафиксировать (проконтролировать) высоту, то температура на вершине Эвереста покажется комфортной (+20 °C), так как модель «отрежет» сам механизм охлаждения воздуха высотой. * **Конфаундер (Confounder):** Общая потаенная причина для двух факторов, контроль которой, напротив, строго необходим для очистки данных от ложной корреляции. --- ## 🏃‍♂️ Почему книга называется «Вероятно, вы слишком много думаете об этом»? [[JUMP:32:33]] Название книги и блога — «Probably Overthinking It» — родилось как самоирония автора. Аллен Дауни рассказал личную историю из 2009–2010 годов, когда он работал в Google и участвовал в командном эстафетном забеге в Нью-Гэмпшире. Во время бега в состоянии кислородного голодания спикер обратил внимание на странную закономерность: он либо стремительно обгонял очень медленных бегунов, либо его самого как стоячего обходили сверхбыстрые спортсмены. Бегунов со средней скоростью, похожих на него самого, он на трассе практически не встречал. Профессор начал строить сложные гипотезы о том, что люди со средней скоростью почему-то избегают эстафет. Позже он осознал, что стал жертвой ошибки выборки, зависящей от длины или интенсивности (length-biased sampling). Вероятность встретить бегуна на трассе пропорциональна разности их скоростей. Тот, кто бежит с той же скоростью, что и вы, движется параллельно на фиксированном расстоянии, и вы никогда не пересечетесь, если не стартовали вместе. Это классический эффект наблюдателя. Размышления об этом случае в 2011 году легли в основу второй статьи в его блоге, который со временем перерос в полноценную книгу. --- ## 🧠 Полезные инструменты, скептицизм и реальная сила науки [[JUMP:42:33]] Аллен Дауни отметил, что все главы его книги были написаны в интерактивной среде Jupyter Notebook, а код полностью открыт в репозитории проекта и доступен для запуска в Google Colab без необходимости установки локального софта. Для тех, кто хочет глубже погрузиться в анализ данных, автор рекомендует следующую последовательность изучения своих работ: сначала освоить базовый Python по третьему изданию книги «Think Python», затем перейти к основам статистики в «Think Stats» (которая лучше всего готовит к пониманию текущей книги), а для интересующихся байесовским анализом — изучить «Think Bayes». Спикер также упомянул другие статистические ловушки, которые он исследует: * **Парадокс инспекции (Inspection paradox):** Объясняет, почему клиентам всегда кажется, что служба поддержки перегружена (ведь они звонят именно в пиковые часы), или почему пассажирам самолеты всегда кажутся заполненными, хотя авиакомпании видят много полупустых рейсов. * **Парадокс Симпсона (Simpson's paradox):** Ситуация, когда при разделении данных на подгруппы тенденция меняется на противоположную по сравнению с агрегированными данными. * **Эффект попутного затора:** Наблюдение автора во время поездки после солнечного затмения в Вермонте: навигатор обещал, что пробка кончится через 30 минут, но плотный поток машин двигался вместе с автором, одновременно создавая и переживая этот затор. Отсюда рождается известная фраза: «Вы не в пробке, вы и есть пробка». Отвечая на вопрос ведущего о том, как реагировать на постоянный поток сомнительных медицинских статей в прессе, Дауни призвал соблюдать баланс. С одной стороны, медиа страдают от «ошибки негативизма» и стремления к кликбейтной новизне, из-за чего самые громкие заголовки чаще всего оказываются ложными. С другой стороны, уход в тотальный нигилизм и вера в то, что «вся статистика врет» — это опасное заблуждение. Наука действительно генерирует знание и помогает принимать правильные решения. В качестве примера спикер привел главу своей книги, посвященную вакцинации, подтверждающую железобетонный научный факт: вакцины эффективно предотвращают болезни и смертность, а отрицание этого несет прямую угрозу здоровью.