От моды до Z-оценки: как данные объясняют мир и спорт

Корреляция между интересом к зомби и доходами McDonald’s составляет 0,86, но это лишь иллюзия связи, а не реальная причина. Том Кроуфорд показывает, как медиа манипулируют масштабами графиков, и объясняет, почему для объективного сравнения великих атлетов разных эпох математике нужны не голы, а Z-оценка. Статистика — это не просто сухие цифры, а искусство отличать случайный шум от фундаментальных законов нормального распределения.

📊 Основы статистики: от средних значений до анализа успеваемости 11:24

Статистика — это не просто набор сухих цифр, а мощный инструментарий для анализа данных, который позволяет извлекать смысл из хаоса . Вводный курс, представленный Томом Кроуфордом (Tom Crawford) под руководством Дэвида Дж. Малана (David J. Malan), ставит своей целью обучить студентов базовым принципам обработки информации: от поиска типичного значения в группе до визуализации сложных взаимосвязей . Программа обучения выстроена от простого к сложному. Сначала рассматриваются фундаментальные вопросы: что такое «среднее» значение и насколько велик разброс данных в конкретном наборе ?

В дальнейшем Том Кроуфорд планирует углубиться в визуализацию, разбирая плюсы и минусы круговых и столбчатых диаграмм, а также переходя к более сложным инструментам, таким как диаграммы рассеяния и коэффициенты корреляции . Ранее в разговоре упоминалось, что эти инструменты помогают не просто увидеть связь между данными, но и количественно её оценить. Одной из ключевых тем курса станет нормальное распределение — знаменитая «колоколообразная кривая», которая встречается практически в любом аспекте нашей жизни . Финальной же точкой этого статистического путешествия станет применение всех полученных знаний для ответа на амбициозный вопрос: какую спортивную команду можно считать величайшей в истории ?

Три вида средних значений: мода, медиана и среднее арифметическое 29:35

Для погружения в практическую статистику Том Кроуфорд использует максимально понятный пример — результаты экзаменов своих студентов . Имея на руках пачку работ с оценками вроде 91, 45, 61, 52 и еще одной 91, преподаватель неизбежно сталкивается с необходимостью обобщения . Чтобы понять, как группа справилась с тестом, кто преуспел, а кому нужна помощь, используются три основных способа определения «среднего» .

1. Мода (Mode) — это значение, которое встречается в наборе данных чаще всего . Это самый простой показатель, фиксирующий наиболее типичный, повторяющийся результат.

2. Среднее арифметическое (Mean) — именно этот показатель большинство людей имеют в виду, когда используют слово «среднее» в повседневной речи . Оно вычисляется путем сложения всех имеющихся значений и деления полученной суммы на их количество .

3. Медиана (Median) — это значение, которое находится строго посередине упорядоченного списка данных . Том подчеркивает: чтобы найти медиану, данные обязательно должны быть выстроены в порядке возрастания .

На примере первой выборки из пяти студентов (45, 52, 61, 91, 91) расчеты выглядят следующим образом: модой становится 91, так как эта оценка встречается дважды . Среднее арифметическое составляет 68 (сумма всех баллов, деленная на пять) . Медианой же оказывается число 61 — оно стоит в центре списка, где два значения меньше него, а два — больше . Тот факт, что все три «средних» значения оказались разными (91, 68 и 61), наглядно демонстрирует, почему в статистике критически важно уточнять, какой именно метод расчета используется .

Особенности расчетов на больших выборках и поиск «скрытых» данных 32:17

В процессе демонстрации произошел забавный инцидент: Том Кроуфорд обнаружил, что пять работ — это лишь часть класса, а остальные оценки «спрятались» в его портфеле . С добавлением еще пяти результатов (65, 28, 86, 65, 16) общая картина существенно изменилась, а вместе с ней усложнились и методы расчета .

Когда количество данных в наборе становится четным (в данном случае — 10 студентов), определение моды и медианы требует дополнительного внимания. В новом расширенном списке (16, 28, 45, 52, 61, 65, 65, 86, 91, 91) оценки 65 и 91 встречаются по два раза . В такой ситуации данные называют бимодальными — то есть имеющими две моды . Если бы часто повторяющихся значений было больше, набор назвали бы мультимодальным, а если бы все оценки были уникальными, мода бы отсутствовала вовсе .

Расчет медианы для четного количества данных также имеет свой нюанс. Поскольку «центрального» элемента в списке из 10 позиций нет, выборка делится на две равные группы по пять значений .

• Нижняя группа: 16, 28, 45, 52, 61.
• Верхняя группа: 65, 65, 86, 91, 91.

Чтобы найти медиану, необходимо вычислить среднее арифметическое между двумя числами, стоящими на стыке этих групп (в данном примере это 61 и 65) . Таким образом, медиана всего набора данных составила 63 . Среднее арифметическое при добавлении новых, более низких баллов, также закономерно снизилось и составило 60 . Эти изменения показывают, как полнота данных влияет на статистические выводы и насколько чувствительными могут быть разные виды средних к появлению новых экстремальных значений.

📊 Измерение разброса: от диапазона до «ящика с усами» 43:50

Когда мы анализируем данные, простого знания среднего арифметического или медианы часто оказывается недостаточно для полной картины. Ранее в разговоре Том Кроуфорд и Дэвид Дж. Малан уже касались темы различных видов средних значений , но теперь фокус смещается на то, насколько данные «растянуты» или сгруппированы. Понимание разброса (spread) позволяет ответить на критически важные вопросы: кто из студентов учится блестяще, а кому нужна дополнительная поддержка, и насколько типичны те или иные значения в выборке .

Размах данных и терминологические ловушки 46:15

Самый простой и очевидный способ измерить вариативность данных — это вычисление диапазона или размаха (range). Том Кроуфорд определяет его как разницу между самым большим и самым маленьким значениями в наборе данных . Эта метрика показывает, на какое «расстояние» растягиваются значения .

Однако Том делает важное техническое замечание: в статистике термин «диапазон» (range) используется иначе, чем в математическом анализе, где под ним понимают область значений функции . В контексте анализа данных это всегда одно число, полученное вычитанием. Например, в наборе оценок десяти студентов, где высший балл составил 91, а низший — 16, размах будет равен 75 .

Хотя размах дает общее представление о масштабе данных, он крайне чувствителен к экстремальным значениям и ничего не говорит о том, как распределены остальные 80% или 90% наблюдений внутри этого интервала . Именно поэтому для более глубокого анализа преподаватели и аналитики используют систему квартилей.

Квартили и межквартильный размах 47:18

Подобно тому как медиана делит данные пополам, квартили (от латинского quartus — четверть) разделяют упорядоченный набор данных на четыре равные части .

• Медиана — это 50-й процентиль, точка «золотой середины» .
• Нижний квартиль (LQ) — это 25-й процентиль; точка, ниже которой находится четверть всех данных .
• Верхний квартиль (UQ) — это 75-й процентиль, отделяющий верхние 25% значений .

Для вычисления квартилей Том предлагает сначала найти медиану, а затем повторить эту же операцию для нижней и верхней половин набора данных . В примере с экзаменационными баллами, где медиана (среднее между 5-м и 6-м результатами) составила 63 , нижний квартиль определяется как медиана первых пяти значений и равен 45 . Верхний квартиль для оставшейся пятерки данных — 86 .

Разница между верхним и нижним квартилями называется межквартильным размахом (Interquartile Range, IQR) . В данном случае он равен 41 . Этот показатель крайне важен, так как он описывает разброс центральных 50% данных, игнорируя аномальные всплески по краям . С практической точки зрения это помогает выделить группы студентов: те, кто находится выше верхнего квартиля, — это топ-25% класса, а те, кто ниже нижнего, — группа риска, требующая внимания .

Визуализация через Box Plot: анатомия «ящика с усами» 50:58

Все вычисленные метрики — минимум, максимум, медиану и квартили — можно объединить в один графический инструмент, называемый коробчатой диаграммой или box plot . Том Кроуфорд детально объясняет структуру этого графика:

1. «Усы» (whiskers): линии, которые тянутся от центрального ящика к минимальному (16) и максимальному (91) значениям .
2. Ящик (box): прямоугольник, границы которого — это нижний и верхний квартили (45 и 86) .
3. Центральная линия: медиана (63), расположенная внутри ящика .

Такая визуализация позволяет мгновенно оценить симметрию данных. Если ящик смещен в сторону высоких баллов, как в примере с экзаменом, это означает, что большинство студентов справились хорошо . «Ящик с усами» наглядно показывает, где сконцентрирована основная масса результатов и насколько длинными являются «хвосты» распределения .

Практикум: анализ населения мировых столиц 54:35

Чтобы закрепить материал, Том Кроуфорд разбирает новый набор данных — население десяти крупнейших столиц мира по данным Википедии и официальных переписей (с 2017 по 2025 годы) . Данные округлены до миллионов для удобства расчетов .

Упорядоченный список населения (в миллионах) выглядит так: 9, 9, 10, 10, 10, 11, 13, 13, 14, 22 . На этом примере Том демонстрирует расчет всех ключевых показателей:

• Мода: 10 миллионов (встречается трижды) .
• Медиана: 10,5 миллионов (среднее между 5-м и 6-м значениями) .
• Среднее арифметическое: 12,1 миллиона .
• Квартили: LQ = 10, UQ = 13 .
• Межквартильный размах (IQR): 13 – 10 = 3 миллиона .

При построении коробчатой диаграммы для городов картина резко отличается от школьных оценок. Диапазон составляет 13 (от 9 до 22), но основной «ящик» сильно сжат в нижней части шкалы (от 10 до 13) . Значение Пекина (22 миллиона) Том называет «экстремальным» . Оно визуально удлиняет верхний «ус», показывая, что этот город сильно выбивается из общего ряда крупнейших столиц. Такой анализ позволяет понять, что типичная мега-столица имеет население около 10–13 миллионов, а Пекин является исключением, которое может искажать среднее значение (mean), делая его менее репрезентативным .

В завершение Том подчеркивает, что выявление таких паттернов и аномалий — главная цель визуализации данных .

📊 Типы данных и искусство визуализации: как не дать себя обмануть 1:17:47

Прежде чем приступать к глубокому анализу, Том Кроуфорд (Tom Crawford) предлагает заложить фундамент — классифицировать саму информацию, с которой работают исследователи . Понимание природы данных критически важно, так как именно оно диктует выбор наиболее эффективного способа их визуализации . Ранее в разговоре Том и Дэвид Дж. Малан (David J. Malan) касались основ анализа данных, но именно здесь начинается практический разбор инструментов, которыми статистика «рисует» свою картину мира.

Классификация данных: от национальности до роста 1:18:00

Все данные в статистике можно разделить на две большие группы: категориальные и числовые . Категориальные данные описывают нечисловые характеристики или качества. В качестве примера Том приводит опрос студентов курса об их гражданстве: ответом будет название страны, а не число .

Числовые данные, в свою очередь, делятся на две подкатегории:

• Дискретные данные — принимают только конкретные, четко разделенные значения . Примером может служить количество братьев и сестер: у человека может быть 0, 1, 2 или 3 родственника, но не 1,5 .
• Непрерывные данные — могут принимать любое значение в определенном диапазоне . Классический пример — рост человека. Он варьируется от минимальных значений у младенцев до двух с лишним метров у самых высоких людей, принимая любые промежуточные значения, например, 1,753 метра .

Понимание этой разницы — первый шаг к корректному отображению информации . Если для категориальных данных часто подходят круговые диаграммы, то для числовых (о которых речь пойдет в следующих главах, включая диаграммы рассеяния) требуются иные подходы .

Круговые диаграммы: геометрия пропорций и «пицце-катастрофы» 1:19:20

Круговые диаграммы (pie charts) — один из самых популярных способов визуализации категориальных данных, особенно когда нужно показать пропорции внутри целого . Том Кроуфорд (Tom Crawford) объясняет математическую логику их построения на примере исследования цвета глаз в группе из 36 студентов .

Поскольку полный круг составляет 360 градусов, расчет сегмента для каждого студента предельно прост: 360 / 36 = 10 градусов на одного человека . Таким образом, если у 27 студентов в классе карие глаза, этот сектор займет ровно 270 градусов на диаграмме . Это наглядно показывает доминирование одной категории над остальными (синими и зелеными глазами) .

Однако популярность круговых диаграмм привела к их частому и порой катастрофически неправильному использованию . Том демонстрирует пример «худшей диаграммы в мире», основанной на опросе британцев об их любимых топпингах для пиццы . В этой визуализации допущены две фундаментальные ошибки:

1. Визуальное несоответствие: Все шесть сегментов диаграммы нарисованы равными по размеру, хотя указанные на них проценты сильно различаются . Это полностью лишает диаграмму её смысла как инструмента сравнения пропорций.
2. Математическая невозможность: Сумма всех процентов на этой диаграмме значительно превышает 100% . Кроуфорд призывает никогда не допускать подобных ошибок, так как они полностью дискредитируют исследование .

Столбчатые диаграммы и сравнительный анализ 1:21:31

Если круговые диаграммы хороши для долей, то столбчатые (bar charts) незаменимы для прямого сравнения разных наборов данных . Они могут быть как вертикальными, так и горизонтальными, что является вопросом личного предпочтения исследователя .

Особую ценность представляют сравнительные столбчатые диаграммы . Если у нас есть данные по двум разным классам студентов, мы можем разместить их столбцы рядом друг с другом для каждой категории (например, цвета глаз) . В примере Тома класс А (красные столбцы) и класс Б (белые столбцы) сравниваются напрямую: сразу видно, что в классе А гораздо больше кареглазых студентов, в то время как в классе Б преобладают люди с голубыми и зелеными глазами . Такой подход позволяет мгновенно считывать различия в распределении данных между группами .

Этика визуализации: «хитрые» оси и манипуляция мнением 1:23:13

Самым поучительным примером в лекции становится разбор манипуляций со столбчатыми диаграммами, часто встречающихся в предвыборных опросах . Для иллюстрации Том Кроуфорд (Tom Crawford) вводит двух персонажей — Доктора Оранжа и Профессора Грина, которые спорят, какой цвет лучше .

Проведя импровизированный опрос жителей, Том сначала показывает диаграмму, где поддержка Профессора Грина кажется подавляющей . Однако при внимательном рассмотрении выясняется, что график «хитрый» и математически плохой :

• Манипуляция масштабом: Ось Y начинается не с нуля, а с 48% и заканчивается на 51% . Это «зуммирование» намеренно гиперболизирует крошечную разницу между кандидатами .
• Истинная картина: Когда тот же набор данных отображается на корректном графике с осью от 0% до 60%, становится ясно, что разрыв между 49% и 51% практически незаметен — это буквально ситуация «подброса монетки» .

Этот пример служит важным жизненным уроком: при анализе любой визуализации данных первым делом нужно смотреть на шкалу осей . Неправильно оформленный график может превратить статистически незначимое различие в визуальную сенсацию . Завершая тему визуализации категорий, Том отмечает, что для поиска взаимосвязей между числовыми переменными используются более сложные инструменты, такие как линейная регрессия, которые будут подробно разобраны далее .

📈 Взаимосвязи в данных: от диаграмм рассеяния до линейной регрессии 1:42:35

Когда мы переходим от анализа отдельных групп данных к поиску закономерностей между ними, в игру вступают диаграммы рассеяния (scatter plots) и статистические модели. Как объясняет Том Кроуфорд (Tom Crawford), это ключевой этап перехода от простого описания данных к пониманию того, как одна переменная может быть связана с другой . Ранее в разговоре они с Дэвидом Дж. Маланом (David J. Malan) касались визуализации категориальных данных, но для числовых переменных требуется иной подход — поиск трендов и математическое обоснование их силы.

Линейная регрессия и метод наименьших квадратов 1:42:47

Анализ начинается с поиска линейной корреляции — попытки определить, можно ли описать отношения между данными с помощью прямой линии . На диаграмме рассеяния каждая точка представляет собой пару значений (X и Y). Если точки распределены хаотично, мы говорим об отсутствии корреляции . Однако часто в данных прослеживается направление: когда увеличение одной переменной ведет к росту другой, мы наблюдаем положительную корреляцию, а если к уменьшению — отрицательную .

Важнейшим инструментом здесь становится линия наилучшего соответствия (line of best fit). Для её построения Том Кроуфорд использует регрессионную модель, основанную на методе наименьших квадратов (least squares regression model) . Суть метода заключается в том, чтобы провести линию так, чтобы сумма квадратов расстояний от каждой точки данных до этой прямой была минимальной.

На примере данных о продажах мороженого Том демонстрирует, как это работает на практике:

• По горизонтальной оси (X) откладывается температура воздуха, по вертикальной (Y) — выручка .
• При нанесении данных на график становится очевидно, что с ростом температуры продажи растут .
• Линия регрессии позволяет не только увидеть этот тренд, но и предсказать будущие продажи на основе прогноза погоды .

Том Кроуфорд подчеркивает, что сила корреляции не зависит от крутизны наклона линии (коэффициента $m$) . Линия может идти под пологим углом или быть очень крутой — это не определяет «качество» связи . Важно лишь то, насколько плотно точки прилегают к самой линии: чем меньше разброс, тем сильнее линейная связь .

Коэффициент корреляции r: мера точности 1:44:08

Чтобы уйти от субъективных оценок вроде «сильная» или «слабая» связь, статистики используют коэффициент корреляции, обозначаемый латинской буквой $r$ . Этот показатель количественно измеряет силу и направление линейной зависимости и всегда находится в строгом диапазоне от -1 до 1 .

Интерпретация значений $r$ выглядит следующим образом:

• $r = 1$: Идеальная положительная корреляция. Все точки лежат строго на восходящей прямой .
• $r = -1$: Идеальная отрицательная корреляция. Точки образуют идеальную нисходящую линию .
• $r = 0$: Полное отсутствие линейной связи. Точки разбросаны по графику случайным образом .
• Промежуточные значения: Например, $r = 0.99$ говорит о невероятно сильной связи, где точки почти не отклоняются от линии . Значение $r = 0.7$ указывает на наличие четкого тренда, но с заметной вариативностью в данных .

В примере с мороженым коэффициент корреляции составил 0.96 . Это очень высокий показатель, подтверждающий интуитивную догадку: температура воздуха является определяющим фактором для успешных продаж этого продукта . Том отмечает, что в реальном мире $r = 1$ или $r = -1$ встречается крайне редко, так как данные почти всегда содержат шум или случайные колебания .

Главная ловушка статистики: корреляция vs причинность 1:46:58

Самый важный урок, который Том Кроуфорд хочет донести до студентов: наличие корреляции между двумя наборами данных не означает, что одно является причиной другого . Фраза «Correlation does not imply causation» (корреляция не подразумевает причинность) является мантрой современной науки о данных .

Для иллюстрации этого заблуждения Том обращается к ресурсу Тайлера Вигена (Tyler Vigen), посвященному «ложным корреляциям» (spurious correlations) . На графике сопоставляются две переменные:

1. Мировая выручка McDonald’s в миллиардах долларов .
2. Популярность поискового запроса «зомби» (zombies) в Google .

Математический анализ показывает удивительный результат: коэффициент корреляции между этими данными равен 0.86 . Это считается сильной положительной связью: чем чаще люди ищут зомби, тем больше зарабатывает McDonald’s . Однако совершенно очевидно, что между ними нет никакой причинно-следственной связи . Если завтра человечество перестанет интересоваться зомби, доходы фастфуд-гиганта не обнулятся .

Этот пример наглядно демонстрирует, что цифры могут быть математически связаны, но при этом оставаться логически независимыми . Том призывает всегда сохранять критическое мышление при анализе графиков и не делать поспешных выводов о том, что один фактор управляет другим, даже если коэффициент $r$ близок к единице .

📊 Понятие разброса: дисперсия и стандартное отклонение 2:12:46

Когда среднего значения недостаточно 2:12:46

Для демонстрации ограничений среднего значения Том Кроуфорд (Tom Crawford) использует два набора данных, состоящих из пяти чисел каждый . Первый набор включает последовательные числа: 8, 9, 10, 11 и 12 . Сложив их, Том применяет «математическую хитрость»: пары (8+12) и (9+11) дают по 20, что в сумме с центральной десяткой составляет 50 . Разделив сумму на количество элементов, он получает среднее арифметическое (mean), равное 10 .

Второй набор данных выглядит иначе: 1, 2, 3, 20 и 24 . Несмотря на визуальный разрыв между числами, их сумма также составляет 50 (1+2+3+20+24 = 50), а среднее значение — те же 10 . Том Кроуфорд подчеркивает, что, хотя средние значения идентичны, интуитивно мы понимаем: структуры данных в этих группах принципиально разные .

Чтобы визуализировать эту разницу, Том использует измерительную ленту и шары для бинго .

• В первом случае шары плотно сгруппированы в узком диапазоне вокруг отметки 10 .
• Во втором случае шары разбросаны по всей длине ленты: часть находится у самого начала, а часть — далеко в конце .

Этот эксперимент подводит к необходимости введения нового математического термина — «разброс» (spread) . Ранее в разговоре Том Кроуфорд и Дэвид Дж. Малан (David J. Malan) уже затрагивали тему средних значений, но теперь становится ясно, что для полноценного анализа данных одного только среднего недостаточно .

Математика разброса: дисперсия и сигма 2:16:17

Для количественной оценки разброса в статистике используется стандартное отклонение, которое принято обозначать греческой буквой сигма ($\sigma$) . По определению, стандартное отклонение измеряет среднее расстояние между каждой точкой данных и общим средним значением набора . Если данные сгруппированы плотно, отклонение будет малым; если они сильно рассеяны — большим .

Прежде чем вычислить стандартное отклонение, необходимо найти дисперсию (variance), которая обозначается как $\sigma^2$ . Том объясняет, что математики предпочитают работать с дисперсией, чтобы избежать постоянного написания знаков квадратного корня, которые визуально загромождают формулы . Дисперсия и стандартное отклонение взаимосвязаны: одно является квадратом другого, и оба показателя описывают степень разброса данных .

Формула дисперсии строится на вычислении разности между каждой точкой данных ($X_n$) и средним значением ($\bar{X}$) . Том Кроуфорд акцентирует внимание на критически важном шаге: каждую полученную разность необходимо возвести в квадрат . Это делается для того, чтобы все значения стали положительными. Без возведения в квадрат положительные и отрицательные отклонения от среднего просто нейтрализовали бы друг друга при суммировании, ошибочно показывая нулевой разброс .

Существует более удобная для расчетов версия формулы: нужно вычислить среднее значение квадратов всех чисел и вычесть из него квадрат среднего значения исходного набора . Применяя это к первым двум примерам, Том получает следующие результаты:

1. Для кластеризованного набора (8-12) дисперсия составляет 2, а стандартное отклонение — $\sqrt{2} \approx 1,41$ .
2. Для разрозненного набора (1-24) дисперсия достигает 98, а стандартное отклонение — $\sqrt{98} \approx 9,9$ .

Таким образом, математика подтверждает визуальное наблюдение: разброс во втором наборе почти в семь раз выше .

Сравнительный анализ: кейс двух учебных классов 2:21:11

Чтобы показать практическую значимость этих вычислений, Том Кроуфорд приводит пример с результатами экзамена по математике в двух классах по 15 человек в каждом .

• Класс А: оценки варьируются от 72 до 78 .
• Класс Б: оценки демонстрируют огромный разрыв — от провальных 34 до идеальных 100 .

При подсчете среднего балла выясняется, что оба класса имеют одинаковый результат — 75 баллов . Однако стандартное отклонение радикально отличается: у Класса А оно составляет всего 1,55, тогда как у Класса Б — 22,65 .

Визуализация этих данных на гистограмме наглядно показывает разницу в успеваемости . Класс А (синие столбцы) формирует узкий «пик» вокруг среднего значения . Класс Б (оранжевые столбцы) размазан по всей шкале, причем у него есть три студента со 100 баллами, чего почти не бывает на реальных экзаменах, но также много отстающих .

На вопрос Дэвида Дж. Малана о том, какой класс «лучше», Том отвечает, что статистика не дает однозначного ответа, но предоставляет данные для дискуссии . Класс А — это стабильная группа студентов примерно одного уровня . Класс Б содержит «звездных» учеников, но в то же время сигнализирует о проблемах: значительная часть группы явно не справляется с материалом . Без понимания стандартного отклонения преподаватель мог бы ошибочно решить, что оба класса прогрессируют одинаково, опираясь только на средний балл .

Завершая этот блок, Том отмечает, что среднее значение часто не рассказывает всей истории, и именно стандартное отклонение является тем более сложным и точным инструментом, который позволяет увидеть полную картину . В дальнейшем это понимание станет фундаментом для изучения нормального распределения .

📊 Универсальность колоколообразной кривой: нормальное распределение и ЦПТ 2:37:54

Когда мы анализируем физические параметры человека, такие как рост, мы неизбежно сталкиваемся с определенной математической закономерностью. Том Кроуфорд демонстрирует это на примере данных о росте мужчин и женщин: средний рост мужчины составляет примерно 178,4 см . График показывает, что большинство людей сосредоточено именно вокруг этого значения, образуя высокую центральную часть распределения . По мере удаления от центра к экстремальным значениям — очень высокому или очень низкому росту — высота графика снижается . Эти области называют «хвостами» распределения, и они наглядно иллюстрируют, что вероятность встретить человека ростом выше 193 см (6 футов 4 дюйма) стремительно падает .

Анатомия нормального распределения 2:38:59

Одной из самых примечательных особенностей нормального распределения является его идеальная симметрия. В этой модели среднее арифметическое (mean), которое обсуждалось в начале курса как показатель центральной тенденции, совпадает с медианой и модой . Все три показателя сходятся в одной точке — на вершине «колокола» .

Том Кроуфорд подчеркивает, что нормальное распределение (также называемое распределением Гаусса) описывает симметричные непрерывные данные . Важно понимать разницу между типами переменных:

• Непрерывные переменные: могут принимать любое значение в диапазоне (например, рост или вес) . Именно для них идеально подходит плавная линия нормального распределения.
• Дискретные переменные: принимают только целые значения (например, количество братьев и сестер в семье) .

Для полной математической характеристики нормального распределения необходимы два параметра: среднее значение ($\mu$), определяющее положение пика, и дисперсия ($\sigma^2$), характеризующая ширину кривой . Математики предпочитают использовать квадрат стандартного отклонения (дисперсию), чтобы избежать лишних вычислений с квадратными корнями .

Влияние параметров на форму «колокола» 2:41:12

Изменение параметров распределения радикально меняет вид графика, но сохраняет его фундаментальную структуру. Том Кроуфорд демонстрирует это на визуальных примерах:

1. Сдвиг среднего: Если мы оставим стандартное отклонение неизменным, но увеличим среднее значение (например, с 9 до 11), вся кривая просто переместится вправо по оси X . Форма колокола останется идентичной, произойдет лишь «трансляция» графика, так как пик всегда должен находиться строго над средним значением .
2. Изменение ширины: Если зафиксировать среднее значение, но менять стандартное отклонение (ранее изученное как мера разброса данных), изменится «толщина» колокола . Малое значение $\sigma$ (например, 8) дает высокую и узкую кривую, где данные плотно прижаты к центру . С увеличением $\sigma$ до 12 или 19 кривая становится более приземистой и широкой, что указывает на больший разброс данных .

Независимо от того, является ли колокол узким или широким, он подчиняется строгим статистическим пропорциям, которые позволяют предсказывать вероятность появления тех или иных значений .

Эмпирическое правило: 68–95–99.7 2:42:59

Одной из самых полезных концепций в статистике является понимание того, какая доля данных попадает в определенные интервалы относительно центра. Если мы возьмем общую площадь под кривой за 100%, мы сможем точно рассчитать пропорции для любого нормального распределения :

• $\pm 1$ стандартное отклонение ($\sigma$): В этот центральный диапазон попадает примерно 68,26% всех данных (по 34,13% с каждой стороны от среднего) . Это означает, что более двух третей всех наблюдений находятся совсем рядом со средним значением.
• $\pm 2$ стандартных отклонения: Охватывают примерно 95,4% данных . Если значение выходит за эти пределы, его уже можно считать редким, так как оно попадает в 5% наиболее экстремальных случаев .
• $\pm 3$ стандартных отклонения: Вмещают в себя практически всё — около 99,7% данных .

Любое событие, оказывающееся за пределами трех сигм, Том называет «чрезвычайно редким» . На графике хвосты в этой зоне становятся практически невидимыми, так как вероятность встретить такие значения ничтожна — всего около 0,13% для каждого края .

Доска Гальтона и Центральная предельная теорема 2:47:00

Почему же нормальное распределение встречается в природе повсеместно? Том Кроуфорд объясняет это с помощью физической демонстрации устройства под названием «доска Гальтона» (Galton board) . Прибор напоминает песочные часы, где маленькие шарики падают через систему штырьков в каналы в нижней части .

Когда шарик падает, он случайным образом сталкивается с препятствиями и отскакивает либо влево, либо вправо . Хотя траектория каждого отдельного шарика случайна, большинство из них в итоге оказывается в центральных колоннах . Лишь единицы совершают серию маловероятных отскоков только в одну сторону, попадая в экстремальные «хвосты» . В результате на дне прибора шарики всегда образуют форму колокола .

Математический фундамент этого явления — Центральная предельная теорема (ЦПТ) . Она гласит: если вы берете среднее значение из большого количества независимых случайных величин, результат будет стремиться к нормальному распределению, независимо от того, как были распределены исходные данные . Кроуфорд резюмирует, что если размер выборки ($n$) достаточно велик — обычно более 30 элементов — мы можем аппроксимировать практически любой процесс с помощью нормального распределения . Это делает модель «колокола» универсальным инструментом, применимым почти к любому набору данных в мире .

🏀 Z-оценка: математическое сравнение величайших спортивных достижений 3:17:42

Вопрос о том, какая спортивная команда является величайшей в истории, обычно вызывает жаркие споры, основанные на субъективных симпатиях и воспоминаниях о кумирах. Однако Том Кроуфорд предлагает альтернативный подход: использовать математику и статистику, чтобы получить обоснованный данными ответ. Главная сложность здесь заключается в сопоставлении команд из разных эпох. Как сравнить «Чикаго Буллз» (Chicago Bulls) образца 1996–1997 годов с их легендарным Майклом Джорданом и «Голден Стэйт Уорриорз» (Golden State Warriors) сезона 2016–2017 во главе со Стефом Карри ? Разные правила игры, разные соперники и разный уровень конкуренции делают прямое сравнение количества побед некорректным. Решением этой проблемы становится Z-оценка (Z-score) — инструмент, позволяющий нормализовать данные и понять, насколько выдающимся было достижение команды относительно её собственного времени .

Нормализация данных и поиск «выбросов» 3:19:46

Чтобы приступить к вычислениям, Том Кроуфорд предлагает проанализировать распределение побед в лигах. Если взглянуть на данные NBA за сезоны 1996–1997 и 2016–2017, можно заметить, что количество побед команд группируется вокруг среднего значения, образуя симметричный паттерн . Как уже обсуждалось ранее, такое распределение визуально напоминает колоколообразную кривую или нормальное распределение . Большинство команд показывают средние результаты, и лишь немногие оказываются в зонах экстремально низких или экстремально высоких показателей .

Для каждой эпохи Том Кроуфорд рассчитывает свои параметры: среднее арифметическое и стандартное отклонение . Это критически важно, так как спортивная среда меняется: меняется количество команд в лиге (например, в 1996 году их было 29, а в 2016-м уже 30) и общий уровень конкуренции . Z-оценка позволяет буквально «сбросить» влияние времени, отвечая на вопрос: «На сколько стандартных отклонений результат конкретной команды отстоит от среднего значения в её конкретном сезоне?» .

Формула расчёта выглядит следующим образом: из конкретного результата команды ($X$) вычитается среднее значение для этого сезона ($\mu$), а разность делится на стандартное отклонение ($\sigma$) для того же периода . Полученное число и есть Z-оценка. Чем выше это положительное значение, тем более невероятным и «аномальным» является успех команды. По сути, математика ищет статистические «выбросы» — результаты, которые практически невозможно объяснить простым везением .

Математический вердикт для NBA и европейского футбола 3:24:43

Чтобы понять значимость Z-оценки, Том Кроуфорд обращается к правилу «трех сигм», характерному для нормального распределения. Согласно статистическим канонам, около 68% данных попадают в диапазон одного стандартного отклонения от среднего, и такие результаты считаются типичными . Если Z-оценка команды находится между 1 и 2, это впечатляющий результат, но он всё ещё охватывает около 95% случаев . Настоящее величие начинается там, где Z-оценка превышает 2: такие команды попадают в топ 2,27% лучших перформансов в истории . Если же показатель выше 3, команда оказывается в числе 0,1% самых экстремальных достижений .

Применив эти расчёты к главному спору NBA, Том Кроуфорд оглашает результаты:

• «Чикаго Буллз» (1996–1997): Z-оценка составила 2.06 .
• «Голден Стэйт Уорриорз» (2016–2017): Z-оценка составила 2.54 .

Несмотря на культовый статус команды Джордана, математика отдаёт предпочтение «Уорриорз», так как относительно своих соперников они доминировали сильнее .

Этот же метод применим и к футболу (или соккеру, как уточняет ведущий в контексте США) . Будучи болельщиком «Манчестер Юнайтед», Том Кроуфорд с сожалением отмечает успехи соперников: «Ливерпуль» сезона 2019–2020 показал впечатляющую Z-оценку 2.62 . Однако абсолютным рекордсменом в европейском футболе, согласно его изысканиям, стал мадридский «Реал» сезона 2011–2012 с показателем 2.85 . Это значение делает ту команду одной из самых статистически невероятных в истории спорта .

Разрешение споров в бейсболе 3:31:47

Особую ценность Z-оценка представляет в случаях, когда команды имеют абсолютно идентичные показатели по количеству побед. В истории бейсбола есть два таких примера: «Чикаго Кабс» (Chicago Cubs) 1906 года и «Сиэтл Маринерс» (Seattle Mariners) 2001 года — обе команды одержали по 116 побед в регулярном чемпионате . Простое сравнение данных здесь бессильно .

Более того, «Кабс» имели даже более высокий процент побед, так как в 1906 году проводилось меньше матчей . Однако Z-оценка переворачивает это представление. Том Кроуфорд , используя реквизит в виде бейсбольной кепки, объявляет: победителем выходят «Сиэтл Маринерс» с Z-оценкой 2.68 против 2.05 у «Кабс» . Это объясняется тем, что в 2001 году уровень конкуренции и разброс сил в лиге были такими, что 116 побед стали гораздо более выдающимся «выбросом» на фоне остальных команд, чем аналогичный результат в начале XX века .

В завершение Том Кроуфорд подчеркивает, что хотя фанаты могут бесконечно спорить о талантах игроков, с математической точки зрения Z-оценка является самым справедливым способом сравнения достижений сквозь десятилетия . Она позволяет нормализовать контекст каждой эпохи и выявить тех, кто действительно прыгнул выше головы своего времени .

🏁 Завершение модуля: от статистических моделей к структуре графов 3:48:08

Итоговое резюме: системный подход к анализу данных

В финальной части обсуждения, посвященного статистике в рамках курса CS50, Том Кроуфорд (Tom Crawford) подводит итог масштабному аналитическому пути, который прошли студенты . Проект, реализуемый под руководством Дэвида Дж. Малана (David J. Malan), ставит своей целью не просто обучение формулам, а формирование у будущих программистов интуитивного понимания данных . Обзор начинается с воспоминания о том, как закладывался фундамент курса: от простейших методов описательной статистики к сложным прогностическим моделям .

Том Кроуфорд (Tom Crawford) отмечает, что отправной точкой в изучении стала визуализация данных . Ранее в разговоре они подробно касались того, как правильно выбирать между круговыми и столбчатыми диаграммами, и в итоговом резюме Том вновь подчеркивает важность критического взгляда на графики, чтобы отличать «хорошую» визуализацию от «плохой» . Этот этап был необходим, чтобы подготовить почву для более серьезных инструментов, таких как диаграммы рассеяния, которые позволяют визуально идентифицировать линейные зависимости между переменными .

Особое внимание в обзоре уделяется переходу к математическому моделированию. Том Кроуфорд (Tom Crawford) называет «сложными инструментами» такие методы, как построение линии наилучшего соответствия через модель регрессии по методу наименьших квадратов . В связке с этим упоминается коэффициент корреляции как ключевой показатель тесноты связи . Таким образом, обзор подчеркивает логическую последовательность курса: от простого наблюдения за данными (визуализация) к их математическому описанию и прогнозированию .

Фундаментальные концепции и практический финал

Продолжая обобщение пройденного материала, Том Кроуфорд (Tom Crawford) переходит к более абстрактным, но критически важным для компьютерных наук понятиям. Он вновь акцентирует внимание на нормальном распределении, характеризуя его как «универсальную колоколообразную симметричную кривую» . Эта концепция является центральной во всем блоке статистики, так как она служит мостом ко многим другим статистическим методам .

В рамках итогового обзора кратко упоминается и теоретическая база, на которой строится работа с распределениями:

• Центральная предельная теорема, позволяющая моделировать различные распределения через нормальное .
• Использование Z-оценок (z-scores) как универсального инструмента стандартизации .
• Прикладное применение статистики на примере сравнения спортивных команд из разных исторических эпох .

Дэвид Дж. Малан (David J. Malan) и его команда интегрировали эти темы в CS50, чтобы показать, что статистика — это не сухая теория, а живой инструмент анализа, применимый в любой области, от спорта до разработки искусственного интеллекта . Финализируя блок, Том Кроуфорд (Tom Crawford) указывает на то, что освоение этих тем дает студентам необходимый математический аппарат для перехода к следующим, более специфическим для Computer Science разделам .

Анонс следующего этапа: Теория графов

Завершая обзор лекции по статистике, Том Кроуфорд (Tom Crawford) делает важный анонс для тех, кто продолжает обучение . Если статистика помогала студентам понимать неопределенность и находить закономерности в массивах данных, то следующая большая тема переведет фокус на структуру и связи между объектами .

«В следующий раз мы будем говорить о теории графов», — объявляет Том . Этот переход является знаковым для курса CS50. Теория графов лежит в основе работы социальных сетей, алгоритмов маршрутизации в интернете, систем рекомендаций и многих других технологий, которые курирует Дэвид Дж. Малан (David J. Malan) в рамках основной программы .

Подведение итогов модуля статистики служит не просто точкой в обсуждении средних значений или дисперсии, а утверждением того, что математика — это единый язык программирования. Статистический блок обеспечил понимание «веса» и «значимости» данных, подготовив студентов к тому, чтобы в следующей части курса научиться связывать эти данные в сложные сетевые структуры с помощью графов .