В рамках образовательного проекта MIT OpenCourseWare опубликована лекция, посвященная трем фундаментальным инструментам теории вероятностей: неравенствам Маркова, Чебышёва и границе Чернова. Эти математические методы позволяют оценивать вероятность того, что случайная величина значительно отклонится от своего среднего значения, даже если распределение этой величины полностью неизвестно.
📊 Неравенство Маркова: база для оценки неотрицательных величин 0:12
Неравенство Маркова является самым простым и базовым инструментом в этом ряду. Оно применяется к вещественным неотрицательным случайным величинам $X$. Согласно формуле, для любого положительного числа $\lambda$ вероятность того, что $X$ будет больше или равна $\lambda$, не превышает отношение математического ожидания $X$ к самому числу $\lambda$ .
Интуитивный смысл этого правила, как отмечает лектор, заключается в следующем:
- Если случайная величина имеет малое математическое ожидание, то вероятность того, что она примет очень высокое значение, крайне мала .
- Это ограничение работает только для величин, которые не могут быть отрицательными.
Доказательство неравенства строится на использовании индикаторной функции . Преподаватель демонстрирует, что математическое ожидание величины можно представить как произведение значения на вероятность его появления. Путем алгебраических манипуляций и вынесения $\lambda$ за знак ожидания доказывается, что искомая вероятность всегда ограничена сверху ожиданием, деленным на порог .
📉 Неравенство Чебышёва: роль дисперсии в отклонениях 2:35
Следующим шагом в анализе становится неравенство Чебышёва. В отличие от Маркова, оно применимо к любой вещественной случайной величине, но требует знания не только среднего значения, но и дисперсии.
Формулировка гласит: вероятность того, что случайная величина $X$ отклонится от своего среднего значения более чем на $\lambda$ стандартных отклонений, не превышает $1/\lambda^2$ . Дисперсия здесь определяется как математическое ожидание квадрата отклонения $X$ от ее среднего значения .
По мнению лектора, ключевой вывод из неравенства Чебышёва таков:
- Если у случайной величины маленькая дисперсия, маловероятно, что она будет сильно отклоняться от своего среднего значения .
- Это дает более конкретную оценку «кучности» данных вокруг центра.
Доказательство этого неравенства элегантно вытекает из неравенства Маркова . Чтобы его получить, математики возводят обе части выражения отклонения в квадрат, превращая задачу в поиск вероятности для неотрицательной величины, после чего применяют метод Маркова. В итоге получается универсальная верхняя граница $1/\lambda^2$ .
🚀 Граница Чернова: мощный инструмент для независимых переменных 5:18
Третий и наиболее мощный метод — граница Чернова (Chernoff bound). В отличие от предыдущих общих случаев, эта оценка предназначена для специфического сеттинга: суммы независимых случайных величин .
В качестве примера лектор приводит «случайное блуждание» по числовой прямой:
- Мы делаем $n$ шагов .
- На каждом шаге подбрасывается монета: с вероятностью 1/2 мы идем вправо (+1) и с вероятностью 1/2 — влево (-1) .
- Вопрос в том, как далеко мы можем уйти от начала координат за $n$ шагов.
Граница Чернова утверждает, что вероятность уйти дальше, чем на $\lambda\sqrt{n}$, ограничена величиной $e^{-\lambda^2/2}$ . Лектор подчеркивает, что это гораздо более сильное утверждение, чем неравенство Чебышёва. В то время как Чебышёв дает убывание вероятности со скоростью $1/\lambda^2$, граница Чернова показывает экспоненциальное убывание, которое происходит значительно быстрее .
🧠 Производящая функция моментов и доказательство Чернова 7:55
Для доказательства границы Чернова вводится концепция производящей функции моментов (Moment Generating Function, MGF). Вместо того чтобы анализировать саму случайную величину $S_n$, математики рассматривают ожидание экспоненты $e^{t S_n}$ .
Основные этапы доказательства включают:
- Использование независимости: Благодаря тому, что шаги независимы, ожидание экспоненты от суммы превращается в произведение ожиданий от каждого шага .
- Разложение в ряд Тейлора: Преподаватель использует разложение Тейлора для оценки функций $e^t$ и $e^{-t}$ . Он отмечает, что при сложении этих рядов нечетные степени сокращаются, что упрощает расчеты .
- Применение неравенства Маркова: На финальном этапе к экспоненциальной форме снова применяется неравенство Маркова .
Для получения максимально точного результата необходимо подобрать оптимальное значение параметра $t$. Лектор поясняет, что путем взятия производной и минимизации выражения можно найти идеальное $t = \lambda/\sqrt{n}$ . Подстановка этого значения в формулу и дает искомую экспоненциальную границу Чернова .
В завершение лектор подчеркивает универсальность метода: хотя пример разбирался на шагах +1/-1, аналогичный подход применим к любым суммам независимых случайных величин .
