# От моды до Z-оценки: как данные объясняют мир и спорт

Источник: https://www.youtube.com/watch?v=736zepheMY4
Канал: CS50
Опубликовано: 02.09.2026

---

Корреляция между интересом к зомби и доходами McDonald’s составляет 0,86, но это лишь иллюзия связи, а не реальная причина. Том Кроуфорд показывает, как медиа манипулируют масштабами графиков, и объясняет, почему для объективного сравнения великих атлетов разных эпох математике нужны не голы, а Z-оценка. Статистика — это не просто сухие цифры, а искусство отличать случайный шум от фундаментальных законов нормального распределения.

## 📊 Основы статистики: от средних значений до анализа успеваемости
[[JUMP:11:24]]

Статистика — это не просто набор сухих цифр, а мощный инструментарий для анализа данных, который позволяет извлекать смысл из хаоса [11:24]. Вводный курс, представленный Томом Кроуфордом (Tom Crawford) под руководством Дэвида Дж. Малана (David J. Malan), ставит своей целью обучить студентов базовым принципам обработки информации: от поиска типичного значения в группе до визуализации сложных взаимосвязей [11:37]. Программа обучения выстроена от простого к сложному. Сначала рассматриваются фундаментальные вопросы: что такое «среднее» значение и насколько велик разброс данных в конкретном наборе [11:31]? 

В дальнейшем Том Кроуфорд планирует углубиться в визуализацию, разбирая плюсы и минусы круговых и столбчатых диаграмм, а также переходя к более сложным инструментам, таким как диаграммы рассеяния и коэффициенты корреляции [11:49]. Ранее в разговоре упоминалось, что эти инструменты помогают не просто увидеть связь между данными, но и количественно её оценить. Одной из ключевых тем курса станет нормальное распределение — знаменитая «колоколообразная кривая», которая встречается практически в любом аспекте нашей жизни [12:10]. Финальной же точкой этого статистического путешествия станет применение всех полученных знаний для ответа на амбициозный вопрос: какую спортивную команду можно считать величайшей в истории [12:14]?

### Три вида средних значений: мода, медиана и среднее арифметическое
[[JUMP:29:35]]

Для погружения в практическую статистику Том Кроуфорд использует максимально понятный пример — результаты экзаменов своих студентов [28:12]. Имея на руках пачку работ с оценками вроде 91, 45, 61, 52 и еще одной 91, преподаватель неизбежно сталкивается с необходимостью обобщения [28:25]. Чтобы понять, как группа справилась с тестом, кто преуспел, а кому нужна помощь, используются три основных способа определения «среднего» [29:08].

1. **Мода (Mode)** — это значение, которое встречается в наборе данных чаще всего [29:48]. Это самый простой показатель, фиксирующий наиболее типичный, повторяющийся результат.

2. **Среднее арифметическое (Mean)** — именно этот показатель большинство людей имеют в виду, когда используют слово «среднее» в повседневной речи [30:02]. Оно вычисляется путем сложения всех имеющихся значений и деления полученной суммы на их количество [30:15].

3. **Медиана (Median)** — это значение, которое находится строго посередине упорядоченного списка данных [30:28]. Том подчеркивает: чтобы найти медиану, данные обязательно должны быть выстроены в порядке возрастания [30:41].

На примере первой выборки из пяти студентов (45, 52, 61, 91, 91) расчеты выглядят следующим образом: модой становится 91, так как эта оценка встречается дважды [31:21]. Среднее арифметическое составляет 68 (сумма всех баллов, деленная на пять) [31:33]. Медианой же оказывается число 61 — оно стоит в центре списка, где два значения меньше него, а два — больше [31:58]. Тот факт, что все три «средних» значения оказались разными (91, 68 и 61), наглядно демонстрирует, почему в статистике критически важно уточнять, какой именно метод расчета используется [32:01].

### Особенности расчетов на больших выборках и поиск «скрытых» данных
[[JUMP:32:17]]

В процессе демонстрации произошел забавный инцидент: Том Кроуфорд обнаружил, что пять работ — это лишь часть класса, а остальные оценки «спрятались» в его портфеле [32:30]. С добавлением еще пяти результатов (65, 28, 86, 65, 16) общая картина существенно изменилась, а вместе с ней усложнились и методы расчета [32:44].

Когда количество данных в наборе становится четным (в данном случае — 10 студентов), определение моды и медианы требует дополнительного внимания. В новом расширенном списке (16, 28, 45, 52, 61, 65, 65, 86, 91, 91) оценки 65 и 91 встречаются по два раза [33:48]. В такой ситуации данные называют **бимодальными** — то есть имеющими две моды [33:55]. Если бы часто повторяющихся значений было больше, набор назвали бы мультимодальным, а если бы все оценки были уникальными, мода бы отсутствовала вовсе [34:26].

Расчет медианы для четного количества данных также имеет свой нюанс. Поскольку «центрального» элемента в списке из 10 позиций нет, выборка делится на две равные группы по пять значений [35:31]. 

*   Нижняя группа: 16, 28, 45, 52, 61.
*   Верхняя группа: 65, 65, 86, 91, 91.

Чтобы найти медиану, необходимо вычислить среднее арифметическое между двумя числами, стоящими на стыке этих групп (в данном примере это 61 и 65) [35:44]. Таким образом, медиана всего набора данных составила 63 [36:09]. Среднее арифметическое при добавлении новых, более низких баллов, также закономерно снизилось и составило 60 [34:51]. Эти изменения показывают, как полнота данных влияет на статистические выводы и насколько чувствительными могут быть разные виды средних к появлению новых экстремальных значений.

## 📊 Измерение разброса: от диапазона до «ящика с усами»
[[JUMP:43:50]]

Когда мы анализируем данные, простого знания среднего арифметического или медианы часто оказывается недостаточно для полной картины. Ранее в разговоре Том Кроуфорд и Дэвид Дж. Малан уже касались темы различных видов средних значений [45:35], но теперь фокус смещается на то, насколько данные «растянуты» или сгруппированы. Понимание разброса (spread) позволяет ответить на критически важные вопросы: кто из студентов учится блестяще, а кому нужна дополнительная поддержка, и насколько типичны те или иные значения в выборке [46:01].

### Размах данных и терминологические ловушки
[[JUMP:46:15]]

Самый простой и очевидный способ измерить вариативность данных — это вычисление диапазона или размаха (range). Том Кроуфорд определяет его как разницу между самым большим и самым маленьким значениями в наборе данных [46:15]. Эта метрика показывает, на какое «расстояние» растягиваются значения [47:06]. 

Однако Том делает важное техническое замечание: в статистике термин «диапазон» (range) используется иначе, чем в математическом анализе, где под ним понимают область значений функции [46:40]. В контексте анализа данных это всегда одно число, полученное вычитанием. Например, в наборе оценок десяти студентов, где высший балл составил 91, а низший — 16, размах будет равен 75 [47:06]. 

Хотя размах дает общее представление о масштабе данных, он крайне чувствителен к экстремальным значениям и ничего не говорит о том, как распределены остальные 80% или 90% наблюдений внутри этого интервала [47:18]. Именно поэтому для более глубокого анализа преподаватели и аналитики используют систему квартилей.

### Квартили и межквартильный размах
[[JUMP:47:18]]

Подобно тому как медиана делит данные пополам, квартили (от латинского *quartus* — четверть) разделяют упорядоченный набор данных на четыре равные части [47:34]. 

*   **Медиана** — это 50-й процентиль, точка «золотой середины» [47:48].
*   **Нижний квартиль (LQ)** — это 25-й процентиль; точка, ниже которой находится четверть всех данных [48:01].
*   **Верхний квартиль (UQ)** — это 75-й процентиль, отделяющий верхние 25% значений [48:26].

Для вычисления квартилей Том предлагает сначала найти медиану, а затем повторить эту же операцию для нижней и верхней половин набора данных [48:13]. В примере с экзаменационными баллами, где медиана (среднее между 5-м и 6-м результатами) составила 63 [49:33], нижний квартиль определяется как медиана первых пяти значений и равен 45 [50:00]. Верхний квартиль для оставшейся пятерки данных — 86 [50:14].

Разница между верхним и нижним квартилями называется межквартильным размахом (Interquartile Range, IQR) [48:53]. В данном случае он равен 41 [50:44]. Этот показатель крайне важен, так как он описывает разброс центральных 50% данных, игнорируя аномальные всплески по краям [51:25]. С практической точки зрения это помогает выделить группы студентов: те, кто находится выше верхнего квартиля, — это топ-25% класса, а те, кто ниже нижнего, — группа риска, требующая внимания [54:09].

### Визуализация через Box Plot: анатомия «ящика с усами»
[[JUMP:50:58]]

Все вычисленные метрики — минимум, максимум, медиану и квартили — можно объединить в один графический инструмент, называемый коробчатой диаграммой или box plot [50:58]. Том Кроуфорд детально объясняет структуру этого графика:

1.  **«Усы» (whiskers)**: линии, которые тянутся от центрального ящика к минимальному (16) и максимальному (91) значениям [51:11].
2.  **Ящик (box)**: прямоугольник, границы которого — это нижний и верхний квартили (45 и 86) [51:25].
3.  **Центральная линия**: медиана (63), расположенная внутри ящика [53:00].

Такая визуализация позволяет мгновенно оценить симметрию данных. Если ящик смещен в сторону высоких баллов, как в примере с экзаменом, это означает, что большинство студентов справились хорошо [53:55]. «Ящик с усами» наглядно показывает, где сконцентрирована основная масса результатов и насколько длинными являются «хвосты» распределения [51:51].

### Практикум: анализ населения мировых столиц
[[JUMP:54:35]]

Чтобы закрепить материал, Том Кроуфорд разбирает новый набор данных — население десяти крупнейших столиц мира по данным Википедии и официальных переписей (с 2017 по 2025 годы) [55:02]. Данные округлены до миллионов для удобства расчетов [54:47].

Упорядоченный список населения (в миллионах) выглядит так: 9, 9, 10, 10, 10, 11, 13, 13, 14, 22 [56:10]. 
На этом примере Том демонстрирует расчет всех ключевых показателей:

*   **Мода**: 10 миллионов (встречается трижды) [56:23].
*   **Медиана**: 10,5 миллионов (среднее между 5-м и 6-м значениями) [56:50].
*   **Среднее арифметическое**: 12,1 миллиона [57:17].
*   **Квартили**: LQ = 10, UQ = 13 [57:45].
*   **Межквартильный размах (IQR)**: 13 – 10 = 3 миллиона [58:00].

При построении коробчатой диаграммы для городов картина резко отличается от школьных оценок. Диапазон составляет 13 (от 9 до 22), но основной «ящик» сильно сжат в нижней части шкалы (от 10 до 13) [58:40]. Значение Пекина (22 миллиона) Том называет «экстремальным» [59:08]. Оно визуально удлиняет верхний «ус», показывая, что этот город сильно выбивается из общего ряда крупнейших столиц. Такой анализ позволяет понять, что типичная мега-столица имеет население около 10–13 миллионов, а Пекин является исключением, которое может искажать среднее значение (mean), делая его менее репрезентативным [59:08].

В завершение Том подчеркивает, что выявление таких паттернов и аномалий — главная цель визуализации данных [1:17:34].

## 📊 Типы данных и искусство визуализации: как не дать себя обмануть

[[JUMP:1:17:47]]

Прежде чем приступать к глубокому анализу, Том Кроуфорд (Tom Crawford) предлагает заложить фундамент — классифицировать саму информацию, с которой работают исследователи [1:17:47]. Понимание природы данных критически важно, так как именно оно диктует выбор наиболее эффективного способа их визуализации [1:18:00]. Ранее в разговоре Том и Дэвид Дж. Малан (David J. Malan) касались основ анализа данных, но именно здесь начинается практический разбор инструментов, которыми статистика «рисует» свою картину мира.

### Классификация данных: от национальности до роста
[[JUMP:1:18:00]]

Все данные в статистике можно разделить на две большие группы: категориальные и числовые [1:18:00]. Категориальные данные описывают нечисловые характеристики или качества. В качестве примера Том приводит опрос студентов курса об их гражданстве: ответом будет название страны, а не число [1:18:14]. 

Числовые данные, в свою очередь, делятся на две подкатегории:

*   **Дискретные данные** — принимают только конкретные, четко разделенные значения [1:18:27]. Примером может служить количество братьев и сестер: у человека может быть 0, 1, 2 или 3 родственника, но не 1,5 [1:18:41].
*   **Непрерывные данные** — могут принимать любое значение в определенном диапазоне [1:18:27]. Классический пример — рост человека. Он варьируется от минимальных значений у младенцев до двух с лишним метров у самых высоких людей, принимая любые промежуточные значения, например, 1,753 метра [1:18:54].

Понимание этой разницы — первый шаг к корректному отображению информации [1:19:06]. Если для категориальных данных часто подходят круговые диаграммы, то для числовых (о которых речь пойдет в следующих главах, включая диаграммы рассеяния) требуются иные подходы [1:26:17].

### Круговые диаграммы: геометрия пропорций и «пицце-катастрофы»
[[JUMP:1:19:20]]

Круговые диаграммы (pie charts) — один из самых популярных способов визуализации категориальных данных, особенно когда нужно показать пропорции внутри целого [1:19:20]. Том Кроуфорд (Tom Crawford) объясняет математическую логику их построения на примере исследования цвета глаз в группе из 36 студентов [1:19:32]. 

Поскольку полный круг составляет 360 градусов, расчет сегмента для каждого студента предельно прост: 360 / 36 = 10 градусов на одного человека [1:19:46]. Таким образом, если у 27 студентов в классе карие глаза, этот сектор займет ровно 270 градусов на диаграмме [1:20:11]. Это наглядно показывает доминирование одной категории над остальными (синими и зелеными глазами) [1:20:11].

Однако популярность круговых диаграмм привела к их частому и порой катастрофически неправильному использованию [1:20:25]. Том демонстрирует пример «худшей диаграммы в мире», основанной на опросе британцев об их любимых топпингах для пиццы [1:20:37]. В этой визуализации допущены две фундаментальные ошибки:

1.  **Визуальное несоответствие:** Все шесть сегментов диаграммы нарисованы равными по размеру, хотя указанные на них проценты сильно различаются [1:21:04]. Это полностью лишает диаграмму её смысла как инструмента сравнения пропорций.
2.  **Математическая невозможность:** Сумма всех процентов на этой диаграмме значительно превышает 100% [1:21:17]. Кроуфорд призывает никогда не допускать подобных ошибок, так как они полностью дискредитируют исследование [1:21:31].

### Столбчатые диаграммы и сравнительный анализ
[[JUMP:1:21:31]]

Если круговые диаграммы хороши для долей, то столбчатые (bar charts) незаменимы для прямого сравнения разных наборов данных [1:21:31]. Они могут быть как вертикальными, так и горизонтальными, что является вопросом личного предпочтения исследователя [1:21:43].

Особую ценность представляют сравнительные столбчатые диаграммы [1:21:56]. Если у нас есть данные по двум разным классам студентов, мы можем разместить их столбцы рядом друг с другом для каждой категории (например, цвета глаз) [1:22:21]. В примере Тома класс А (красные столбцы) и класс Б (белые столбцы) сравниваются напрямую: сразу видно, что в классе А гораздо больше кареглазых студентов, в то время как в классе Б преобладают люди с голубыми и зелеными глазами [1:22:46]. Такой подход позволяет мгновенно считывать различия в распределении данных между группами [1:23:01].

### Этика визуализации: «хитрые» оси и манипуляция мнением
[[JUMP:1:23:13]]

Самым поучительным примером в лекции становится разбор манипуляций со столбчатыми диаграммами, часто встречающихся в предвыборных опросах [1:23:13]. Для иллюстрации Том Кроуфорд (Tom Crawford) вводит двух персонажей — Доктора Оранжа и Профессора Грина, которые спорят, какой цвет лучше [1:23:51]. 

Проведя импровизированный опрос жителей, Том сначала показывает диаграмму, где поддержка Профессора Грина кажется подавляющей [1:24:33]. Однако при внимательном рассмотрении выясняется, что график «хитрый» и математически плохой [1:25:00]:

*   **Манипуляция масштабом:** Ось Y начинается не с нуля, а с 48% и заканчивается на 51% [1:25:12]. Это «зуммирование» намеренно гиперболизирует крошечную разницу между кандидатами [1:25:24].
*   **Истинная картина:** Когда тот же набор данных отображается на корректном графике с осью от 0% до 60%, становится ясно, что разрыв между 49% и 51% практически незаметен — это буквально ситуация «подброса монетки» [1:25:51].

Этот пример служит важным жизненным уроком: при анализе любой визуализации данных первым делом нужно смотреть на шкалу осей [1:26:05]. Неправильно оформленный график может превратить статистически незначимое различие в визуальную сенсацию [1:26:17]. Завершая тему визуализации категорий, Том отмечает, что для поиска взаимосвязей между числовыми переменными используются более сложные инструменты, такие как линейная регрессия, которые будут подробно разобраны далее [1:31:09].

## 📈 Взаимосвязи в данных: от диаграмм рассеяния до линейной регрессии
[[JUMP:1:42:35]]

Когда мы переходим от анализа отдельных групп данных к поиску закономерностей между ними, в игру вступают диаграммы рассеяния (scatter plots) и статистические модели. Как объясняет Том Кроуфорд (Tom Crawford), это ключевой этап перехода от простого описания данных к пониманию того, как одна переменная может быть связана с другой [1:50:39]. Ранее в разговоре они с Дэвидом Дж. Маланом (David J. Malan) касались визуализации категориальных данных, но для числовых переменных требуется иной подход — поиск трендов и математическое обоснование их силы.

### Линейная регрессия и метод наименьших квадратов
[[JUMP:1:42:47]]

Анализ начинается с поиска линейной корреляции — попытки определить, можно ли описать отношения между данными с помощью прямой линии [1:42:47]. На диаграмме рассеяния каждая точка представляет собой пару значений (X и Y). Если точки распределены хаотично, мы говорим об отсутствии корреляции [1:43:00]. Однако часто в данных прослеживается направление: когда увеличение одной переменной ведет к росту другой, мы наблюдаем положительную корреляцию, а если к уменьшению — отрицательную [1:43:13].

Важнейшим инструментом здесь становится линия наилучшего соответствия (line of best fit). Для её построения Том Кроуфорд использует регрессионную модель, основанную на методе наименьших квадратов (least squares regression model) [1:46:21]. Суть метода заключается в том, чтобы провести линию так, чтобы сумма квадратов расстояний от каждой точки данных до этой прямой была минимальной. 

На примере данных о продажах мороженого Том демонстрирует, как это работает на практике:

*   По горизонтальной оси (X) откладывается температура воздуха, по вертикальной (Y) — выручка [1:46:08].
*   При нанесении данных на график становится очевидно, что с ростом температуры продажи растут [1:46:40].
*   Линия регрессии позволяет не только увидеть этот тренд, но и предсказать будущие продажи на основе прогноза погоды [1:46:21].

Том Кроуфорд подчеркивает, что сила корреляции не зависит от крутизны наклона линии (коэффициента $m$) [1:43:26]. Линия может идти под пологим углом или быть очень крутой — это не определяет «качество» связи [1:43:39]. Важно лишь то, насколько плотно точки прилегают к самой линии: чем меньше разброс, тем сильнее линейная связь [1:43:39].

### Коэффициент корреляции r: мера точности
[[JUMP:1:44:08]]

Чтобы уйти от субъективных оценок вроде «сильная» или «слабая» связь, статистики используют коэффициент корреляции, обозначаемый латинской буквой $r$ [1:44:08]. Этот показатель количественно измеряет силу и направление линейной зависимости и всегда находится в строгом диапазоне от -1 до 1 [1:44:22].

Интерпретация значений $r$ выглядит следующим образом:

*   **$r = 1$**: Идеальная положительная корреляция. Все точки лежат строго на восходящей прямой [1:44:37].
*   **$r = -1$**: Идеальная отрицательная корреляция. Точки образуют идеальную нисходящую линию [1:44:37].
*   **$r = 0$**: Полное отсутствие линейной связи. Точки разбросаны по графику случайным образом [1:44:49].
*   **Промежуточные значения**: Например, $r = 0.99$ говорит о невероятно сильной связи, где точки почти не отклоняются от линии [1:45:16]. Значение $r = 0.7$ указывает на наличие четкого тренда, но с заметной вариативностью в данных [1:45:28].

В примере с мороженым коэффициент корреляции составил 0.96 [1:46:34]. Это очень высокий показатель, подтверждающий интуитивную догадку: температура воздуха является определяющим фактором для успешных продаж этого продукта [1:46:46]. Том отмечает, что в реальном мире $r = 1$ или $r = -1$ встречается крайне редко, так как данные почти всегда содержат шум или случайные колебания [1:45:56].

### Главная ловушка статистики: корреляция vs причинность
[[JUMP:1:46:58]]

Самый важный урок, который Том Кроуфорд хочет донести до студентов: наличие корреляции между двумя наборами данных не означает, что одно является причиной другого [1:46:58]. Фраза «Correlation does not imply causation» (корреляция не подразумевает причинность) является мантрой современной науки о данных [1:47:04].

Для иллюстрации этого заблуждения Том обращается к ресурсу Тайлера Вигена (Tyler Vigen), посвященному «ложным корреляциям» (spurious correlations) [1:47:13]. На графике сопоставляются две переменные:

1.  Мировая выручка McDonald’s в миллиардах долларов [1:47:27].
2.  Популярность поискового запроса «зомби» (zombies) в Google [1:47:27].

Математический анализ показывает удивительный результат: коэффициент корреляции между этими данными равен 0.86 [1:48:00]. Это считается сильной положительной связью: чем чаще люди ищут зомби, тем больше зарабатывает McDonald’s [1:47:41]. Однако совершенно очевидно, что между ними нет никакой причинно-следственной связи [1:48:08]. Если завтра человечество перестанет интересоваться зомби, доходы фастфуд-гиганта не обнулятся [1:48:20].

Этот пример наглядно демонстрирует, что цифры могут быть математически связаны, но при этом оставаться логически независимыми [1:48:34]. Том призывает всегда сохранять критическое мышление при анализе графиков и не делать поспешных выводов о том, что один фактор управляет другим, даже если коэффициент $r$ близок к единице [1:50:53].

## 📊 Понятие разброса: дисперсия и стандартное отклонение
[[JUMP:2:12:46]]

### Когда среднего значения недостаточно
[[JUMP:2:12:46]]

Для демонстрации ограничений среднего значения Том Кроуфорд (Tom Crawford) использует два набора данных, состоящих из пяти чисел каждый [2:12:46]. Первый набор включает последовательные числа: 8, 9, 10, 11 и 12 [2:13:12]. Сложив их, Том применяет «математическую хитрость»: пары (8+12) и (9+11) дают по 20, что в сумме с центральной десяткой составляет 50 [2:13:27]. Разделив сумму на количество элементов, он получает среднее арифметическое (mean), равное 10 [2:13:39].

Второй набор данных выглядит иначе: 1, 2, 3, 20 и 24 [2:13:52]. Несмотря на визуальный разрыв между числами, их сумма также составляет 50 (1+2+3+20+24 = 50), а среднее значение — те же 10 [2:14:06]. Том Кроуфорд подчеркивает, что, хотя средние значения идентичны, интуитивно мы понимаем: структуры данных в этих группах принципиально разные [2:14:18]. 

Чтобы визуализировать эту разницу, Том использует измерительную ленту и шары для бинго [2:14:44]. 

* В первом случае шары плотно сгруппированы в узком диапазоне вокруг отметки 10 [2:15:11]. 
* Во втором случае шары разбросаны по всей длине ленты: часть находится у самого начала, а часть — далеко в конце [2:15:37]. 

Этот эксперимент подводит к необходимости введения нового математического термина — «разброс» (spread) [2:16:04]. Ранее в разговоре Том Кроуфорд и Дэвид Дж. Малан (David J. Malan) уже затрагивали тему средних значений, но теперь становится ясно, что для полноценного анализа данных одного только среднего недостаточно [2:16:17].

### Математика разброса: дисперсия и сигма
[[JUMP:2:16:17]]

Для количественной оценки разброса в статистике используется стандартное отклонение, которое принято обозначать греческой буквой сигма ($\sigma$) [2:16:29]. По определению, стандартное отклонение измеряет среднее расстояние между каждой точкой данных и общим средним значением набора [2:16:42]. Если данные сгруппированы плотно, отклонение будет малым; если они сильно рассеяны — большим [2:16:54].

Прежде чем вычислить стандартное отклонение, необходимо найти дисперсию (variance), которая обозначается как $\sigma^2$ [2:17:09]. Том объясняет, что математики предпочитают работать с дисперсией, чтобы избежать постоянного написания знаков квадратного корня, которые визуально загромождают формулы [2:17:36]. Дисперсия и стандартное отклонение взаимосвязаны: одно является квадратом другого, и оба показателя описывают степень разброса данных [2:17:49].

Формула дисперсии строится на вычислении разности между каждой точкой данных ($X_n$) и средним значением ($\bar{X}$) [2:18:04]. Том Кроуфорд акцентирует внимание на критически важном шаге: каждую полученную разность необходимо возвести в квадрат [2:18:16]. Это делается для того, чтобы все значения стали положительными. Без возведения в квадрат положительные и отрицательные отклонения от среднего просто нейтрализовали бы друг друга при суммировании, ошибочно показывая нулевой разброс [2:18:28].

Существует более удобная для расчетов версия формулы: нужно вычислить среднее значение квадратов всех чисел и вычесть из него квадрат среднего значения исходного набора [2:19:09]. Применяя это к первым двум примерам, Том получает следующие результаты:

1. Для кластеризованного набора (8-12) дисперсия составляет 2, а стандартное отклонение — $\sqrt{2} \approx 1,41$ [2:20:05].
2. Для разрозненного набора (1-24) дисперсия достигает 98, а стандартное отклонение — $\sqrt{98} \approx 9,9$ [2:20:45]. 

Таким образом, математика подтверждает визуальное наблюдение: разброс во втором наборе почти в семь раз выше [2:20:58].

### Сравнительный анализ: кейс двух учебных классов
[[JUMP:2:21:11]]

Чтобы показать практическую значимость этих вычислений, Том Кроуфорд приводит пример с результатами экзамена по математике в двух классах по 15 человек в каждом [2:21:25]. 

* **Класс А:** оценки варьируются от 72 до 78 [2:21:38].
* **Класс Б:** оценки демонстрируют огромный разрыв — от провальных 34 до идеальных 100 [2:21:51].

При подсчете среднего балла выясняется, что оба класса имеют одинаковый результат — 75 баллов [2:22:30]. Однако стандартное отклонение радикально отличается: у Класса А оно составляет всего 1,55, тогда как у Класса Б — 22,65 [2:23:09]. 

Визуализация этих данных на гистограмме наглядно показывает разницу в успеваемости [2:23:22]. Класс А (синие столбцы) формирует узкий «пик» вокруг среднего значения [2:23:49]. Класс Б (оранжевые столбцы) размазан по всей шкале, причем у него есть три студента со 100 баллами, чего почти не бывает на реальных экзаменах, но также много отстающих [2:24:03].

На вопрос Дэвида Дж. Малана о том, какой класс «лучше», Том отвечает, что статистика не дает однозначного ответа, но предоставляет данные для дискуссии [2:24:30]. Класс А — это стабильная группа студентов примерно одного уровня [2:24:57]. Класс Б содержит «звездных» учеников, но в то же время сигнализирует о проблемах: значительная часть группы явно не справляется с материалом [2:25:24]. Без понимания стандартного отклонения преподаватель мог бы ошибочно решить, что оба класса прогрессируют одинаково, опираясь только на средний балл [2:26:04].

Завершая этот блок, Том отмечает, что среднее значение часто не рассказывает всей истории, и именно стандартное отклонение является тем более сложным и точным инструментом, который позволяет увидеть полную картину [2:26:04]. В дальнейшем это понимание станет фундаментом для изучения нормального распределения [2:36:34].

## 📊 Универсальность колоколообразной кривой: нормальное распределение и ЦПТ
[[JUMP:2:37:54]]

Когда мы анализируем физические параметры человека, такие как рост, мы неизбежно сталкиваемся с определенной математической закономерностью. Том Кроуфорд демонстрирует это на примере данных о росте мужчин и женщин: средний рост мужчины составляет примерно 178,4 см [2:37:54]. График показывает, что большинство людей сосредоточено именно вокруг этого значения, образуя высокую центральную часть распределения [2:38:07]. По мере удаления от центра к экстремальным значениям — очень высокому или очень низкому росту — высота графика снижается [2:38:20]. Эти области называют «хвостами» распределения, и они наглядно иллюстрируют, что вероятность встретить человека ростом выше 193 см (6 футов 4 дюйма) стремительно падает [2:38:33].

### Анатомия нормального распределения
[[JUMP:2:38:59]]

Одной из самых примечательных особенностей нормального распределения является его идеальная симметрия. В этой модели среднее арифметическое (mean), которое обсуждалось в начале курса как показатель центральной тенденции, совпадает с медианой и модой [2:38:59]. Все три показателя сходятся в одной точке — на вершине «колокола» [2:39:12]. 

Том Кроуфорд подчеркивает, что нормальное распределение (также называемое распределением Гаусса) описывает симметричные непрерывные данные [2:39:27]. Важно понимать разницу между типами переменных:

*   **Непрерывные переменные:** могут принимать любое значение в диапазоне (например, рост или вес) [2:39:39]. Именно для них идеально подходит плавная линия нормального распределения.
*   **Дискретные переменные:** принимают только целые значения (например, количество братьев и сестер в семье) [2:39:52].

Для полной математической характеристики нормального распределения необходимы два параметра: среднее значение ($\mu$), определяющее положение пика, и дисперсия ($\sigma^2$), характеризующая ширину кривой [2:40:59]. Математики предпочитают использовать квадрат стандартного отклонения (дисперсию), чтобы избежать лишних вычислений с квадратными корнями [2:40:59].

### Влияние параметров на форму «колокола»
[[JUMP:2:41:12]]

Изменение параметров распределения радикально меняет вид графика, но сохраняет его фундаментальную структуру. Том Кроуфорд демонстрирует это на визуальных примерах:

1.  **Сдвиг среднего:** Если мы оставим стандартное отклонение неизменным, но увеличим среднее значение (например, с 9 до 11), вся кривая просто переместится вправо по оси X [2:41:40]. Форма колокола останется идентичной, произойдет лишь «трансляция» графика, так как пик всегда должен находиться строго над средним значением [2:41:53].
2.  **Изменение ширины:** Если зафиксировать среднее значение, но менять стандартное отклонение (ранее изученное как мера разброса данных), изменится «толщина» колокола [2:42:07]. Малое значение $\sigma$ (например, 8) дает высокую и узкую кривую, где данные плотно прижаты к центру [2:42:20]. С увеличением $\sigma$ до 12 или 19 кривая становится более приземистой и широкой, что указывает на больший разброс данных [2:42:34].

Независимо от того, является ли колокол узким или широким, он подчиняется строгим статистическим пропорциям, которые позволяют предсказывать вероятность появления тех или иных значений [2:42:59].

### Эмпирическое правило: 68–95–99.7
[[JUMP:2:42:59]]

Одной из самых полезных концепций в статистике является понимание того, какая доля данных попадает в определенные интервалы относительно центра. Если мы возьмем общую площадь под кривой за 100%, мы сможем точно рассчитать пропорции для любого нормального распределения [2:43:52]:

*   **$\pm 1$ стандартное отклонение ($\sigma$):** В этот центральный диапазон попадает примерно 68,26% всех данных (по 34,13% с каждой стороны от среднего) [2:44:20]. Это означает, что более двух третей всех наблюдений находятся совсем рядом со средним значением.
*   **$\pm 2$ стандартных отклонения:** Охватывают примерно 95,4% данных [2:46:07]. Если значение выходит за эти пределы, его уже можно считать редким, так как оно попадает в 5% наиболее экстремальных случаев [2:46:46].
*   **$\pm 3$ стандартных отклонения:** Вмещают в себя практически всё — около 99,7% данных [2:46:20]. 

Любое событие, оказывающееся за пределами трех сигм, Том называет «чрезвычайно редким» [2:46:33]. На графике хвосты в этой зоне становятся практически невидимыми, так как вероятность встретить такие значения ничтожна — всего около 0,13% для каждого края [2:45:26].

### Доска Гальтона и Центральная предельная теорема
[[JUMP:2:47:00]]

Почему же нормальное распределение встречается в природе повсеместно? Том Кроуфорд объясняет это с помощью физической демонстрации устройства под названием «доска Гальтона» (Galton board) [2:47:14]. Прибор напоминает песочные часы, где маленькие шарики падают через систему штырьков в каналы в нижней части [2:47:26]. 

Когда шарик падает, он случайным образом сталкивается с препятствиями и отскакивает либо влево, либо вправо [2:48:08]. Хотя траектория каждого отдельного шарика случайна, большинство из них в итоге оказывается в центральных колоннах [2:48:23]. Лишь единицы совершают серию маловероятных отскоков только в одну сторону, попадая в экстремальные «хвосты» [2:48:36]. В результате на дне прибора шарики всегда образуют форму колокола [2:49:02].

Математический фундамент этого явления — **Центральная предельная теорема (ЦПТ)** [2:49:28]. Она гласит: если вы берете среднее значение из большого количества независимых случайных величин, результат будет стремиться к нормальному распределению, независимо от того, как были распределены исходные данные [2:49:42]. Кроуфорд резюмирует, что если размер выборки ($n$) достаточно велик — обычно более 30 элементов — мы можем аппроксимировать практически любой процесс с помощью нормального распределения [2:50:21]. Это делает модель «колокола» универсальным инструментом, применимым почти к любому набору данных в мире [2:50:48].

## 🏀 Z-оценка: математическое сравнение величайших спортивных достижений
[[JUMP:3:17:42]]

Вопрос о том, какая спортивная команда является величайшей в истории, обычно вызывает жаркие споры, основанные на субъективных симпатиях и воспоминаниях о кумирах. Однако Том Кроуфорд [3:18:38] предлагает альтернативный подход: использовать математику и статистику, чтобы получить обоснованный данными ответ. Главная сложность здесь заключается в сопоставлении команд из разных эпох. Как сравнить «Чикаго Буллз» (Chicago Bulls) образца 1996–1997 годов с их легендарным Майклом Джорданом [3:19:05] и «Голден Стэйт Уорриорз» (Golden State Warriors) сезона 2016–2017 во главе со Стефом Карри [3:19:17]? Разные правила игры, разные соперники и разный уровень конкуренции делают прямое сравнение количества побед некорректным. Решением этой проблемы становится Z-оценка (Z-score) — инструмент, позволяющий нормализовать данные и понять, насколько выдающимся было достижение команды относительно её собственного времени [3:19:30].

### Нормализация данных и поиск «выбросов»
[[JUMP:3:19:46]]

Чтобы приступить к вычислениям, Том Кроуфорд [3:17:56] предлагает проанализировать распределение побед в лигах. Если взглянуть на данные NBA за сезоны 1996–1997 и 2016–2017, можно заметить, что количество побед команд группируется вокруг среднего значения, образуя симметричный паттерн [3:20:53]. Как уже обсуждалось ранее, такое распределение визуально напоминает колоколообразную кривую или нормальное распределение [3:21:07]. Большинство команд показывают средние результаты, и лишь немногие оказываются в зонах экстремально низких или экстремально высоких показателей [3:22:13].

Для каждой эпохи Том Кроуфорд [3:17:56] рассчитывает свои параметры: среднее арифметическое и стандартное отклонение [3:22:40]. Это критически важно, так как спортивная среда меняется: меняется количество команд в лиге (например, в 1996 году их было 29, а в 2016-м уже 30) и общий уровень конкуренции [3:20:26]. Z-оценка позволяет буквально «сбросить» влияние времени, отвечая на вопрос: «На сколько стандартных отклонений результат конкретной команды отстоит от среднего значения в её конкретном сезоне?» [3:23:19].

Формула расчёта выглядит следующим образом: из конкретного результата команды ($X$) вычитается среднее значение для этого сезона ($\mu$), а разность делится на стандартное отклонение ($\sigma$) для того же периода [3:23:33]. Полученное число и есть Z-оценка. Чем выше это положительное значение, тем более невероятным и «аномальным» является успех команды. По сути, математика ищет статистические «выбросы» — результаты, которые практически невозможно объяснить простым везением [3:24:15].

### Математический вердикт для NBA и европейского футбола
[[JUMP:3:24:43]]

Чтобы понять значимость Z-оценки, Том Кроуфорд [3:17:56] обращается к правилу «трех сигм», характерному для нормального распределения. Согласно статистическим канонам, около 68% данных попадают в диапазон одного стандартного отклонения от среднего, и такие результаты считаются типичными [3:25:08]. Если Z-оценка команды находится между 1 и 2, это впечатляющий результат, но он всё ещё охватывает около 95% случаев [3:26:00]. Настоящее величие начинается там, где Z-оценка превышает 2: такие команды попадают в топ 2,27% лучших перформансов в истории [3:26:26]. Если же показатель выше 3, команда оказывается в числе 0,1% самых экстремальных достижений [3:26:53].

Применив эти расчёты к главному спору NBA, Том Кроуфорд [3:17:56] оглашает результаты:

*   «Чикаго Буллз» (1996–1997): Z-оценка составила **2.06** [3:27:46].
*   «Голден Стэйт Уорриорз» (2016–2017): Z-оценка составила **2.54** [3:27:59].

Несмотря на культовый статус команды Джордана, математика отдаёт предпочтение «Уорриорз», так как относительно своих соперников они доминировали сильнее [3:27:34].

Этот же метод применим и к футболу (или соккеру, как уточняет ведущий в контексте США) [3:28:38]. Будучи болельщиком «Манчестер Юнайтед», Том Кроуфорд [3:17:56] с сожалением отмечает успехи соперников: «Ливерпуль» сезона 2019–2020 показал впечатляющую Z-оценку **2.62** [3:29:05]. Однако абсолютным рекордсменом в европейском футболе, согласно его изысканиям, стал мадридский «Реал» сезона 2011–2012 с показателем **2.85** [3:31:21]. Это значение делает ту команду одной из самых статистически невероятных в истории спорта [3:31:34].

### Разрешение споров в бейсболе
[[JUMP:3:31:47]]

Особую ценность Z-оценка представляет в случаях, когда команды имеют абсолютно идентичные показатели по количеству побед. В истории бейсбола есть два таких примера: «Чикаго Кабс» (Chicago Cubs) 1906 года и «Сиэтл Маринерс» (Seattle Mariners) 2001 года — обе команды одержали по 116 побед в регулярном чемпионате [3:32:56]. Простое сравнение данных здесь бессильно [3:33:08].

Более того, «Кабс» имели даже более высокий процент побед, так как в 1906 году проводилось меньше матчей [3:33:50]. Однако Z-оценка переворачивает это представление. Том Кроуфорд [3:17:56], используя реквизит в виде бейсбольной кепки, объявляет: победителем выходят «Сиэтл Маринерс» с Z-оценкой **2.68** против **2.05** у «Кабс» [3:33:36]. Это объясняется тем, что в 2001 году уровень конкуренции и разброс сил в лиге были такими, что 116 побед стали гораздо более выдающимся «выбросом» на фоне остальных команд, чем аналогичный результат в начале XX века [3:34:05].

В завершение Том Кроуфорд [3:17:56] подчеркивает, что хотя фанаты могут бесконечно спорить о талантах игроков, с математической точки зрения Z-оценка является самым справедливым способом сравнения достижений сквозь десятилетия [3:36:42]. Она позволяет нормализовать контекст каждой эпохи и выявить тех, кто действительно прыгнул выше головы своего времени [3:48:08].

## 🏁 Завершение модуля: от статистических моделей к структуре графов

[[JUMP:3:48:08]]

### Итоговое резюме: системный подход к анализу данных

В финальной части обсуждения, посвященного статистике в рамках курса CS50, Том Кроуфорд (Tom Crawford) подводит итог масштабному аналитическому пути, который прошли студенты [3:48:08]. Проект, реализуемый под руководством Дэвида Дж. Малана (David J. Malan), ставит своей целью не просто обучение формулам, а формирование у будущих программистов интуитивного понимания данных [3:48:15]. Обзор начинается с воспоминания о том, как закладывался фундамент курса: от простейших методов описательной статистики к сложным прогностическим моделям [3:48:20].

Том Кроуфорд (Tom Crawford) отмечает, что отправной точкой в изучении стала визуализация данных [3:48:23]. Ранее в разговоре они подробно касались того, как правильно выбирать между круговыми и столбчатыми диаграммами, и в итоговом резюме Том вновь подчеркивает важность критического взгляда на графики, чтобы отличать «хорошую» визуализацию от «плохой» [3:48:26]. Этот этап был необходим, чтобы подготовить почву для более серьезных инструментов, таких как диаграммы рассеяния, которые позволяют визуально идентифицировать линейные зависимости между переменными [3:48:30].

Особое внимание в обзоре уделяется переходу к математическому моделированию. Том Кроуфорд (Tom Crawford) называет «сложными инструментами» такие методы, как построение линии наилучшего соответствия через модель регрессии по методу наименьших квадратов [3:48:35]. В связке с этим упоминается коэффициент корреляции как ключевой показатель тесноты связи [3:48:40]. Таким образом, обзор подчеркивает логическую последовательность курса: от простого наблюдения за данными (визуализация) к их математическому описанию и прогнозированию [3:48:42].

### Фундаментальные концепции и практический финал

Продолжая обобщение пройденного материала, Том Кроуфорд (Tom Crawford) переходит к более абстрактным, но критически важным для компьютерных наук понятиям. Он вновь акцентирует внимание на нормальном распределении, характеризуя его как «универсальную колоколообразную симметричную кривую» [3:48:43]. Эта концепция является центральной во всем блоке статистики, так как она служит мостом ко многим другим статистическим методам [3:48:46].

В рамках итогового обзора кратко упоминается и теоретическая база, на которой строится работа с распределениями:

*   Центральная предельная теорема, позволяющая моделировать различные распределения через нормальное [3:48:49].
*   Использование Z-оценок (z-scores) как универсального инструмента стандартизации [3:48:54].
*   Прикладное применение статистики на примере сравнения спортивных команд из разных исторических эпох [3:48:58].

Дэвид Дж. Малан (David J. Malan) и его команда интегрировали эти темы в CS50, чтобы показать, что статистика — это не сухая теория, а живой инструмент анализа, применимый в любой области, от спорта до разработки искусственного интеллекта [3:49:00]. Финализируя блок, Том Кроуфорд (Tom Crawford) указывает на то, что освоение этих тем дает студентам необходимый математический аппарат для перехода к следующим, более специфическим для Computer Science разделам [3:49:01].

### Анонс следующего этапа: Теория графов

Завершая обзор лекции по статистике, Том Кроуфорд (Tom Crawford) делает важный анонс для тех, кто продолжает обучение [3:49:01]. Если статистика помогала студентам понимать неопределенность и находить закономерности в массивах данных, то следующая большая тема переведет фокус на структуру и связи между объектами [3:49:03].

«В следующий раз мы будем говорить о теории графов», — объявляет Том [3:49:01]. Этот переход является знаковым для курса CS50. Теория графов лежит в основе работы социальных сетей, алгоритмов маршрутизации в интернете, систем рекомендаций и многих других технологий, которые курирует Дэвид Дж. Малан (David J. Malan) в рамках основной программы [3:49:05]. 

Подведение итогов модуля статистики служит не просто точкой в обсуждении средних значений или дисперсии, а утверждением того, что математика — это единый язык программирования. Статистический блок обеспечил понимание «веса» и «значимости» данных, подготовив студентов к тому, чтобы в следующей части курса научиться связывать эти данные в сложные сетевые структуры с помощью графов [3:49:01].