# Афшин и Шервин Амиди: Математика и интуиция Reinforcement Learning в LLM

Источник: https://www.youtube.com/watch?v=3Vaj0Oka_t4
Канал: Stanford Online
Опубликовано: 19.10.2026

---

Это подробный аналитический обзор лекции Стэнфордского курса CME295, посвященной методам обучения с подкреплением (Reinforcement Learning, RL) для больших языковых моделей (LLM). Лекцию проводят адъюнкт-профессора Стэнфордского университета Афшин Амиди (Afshine Amidi) и Шервин Амиди (Shervine Amidi). В материале рассматривается математическая база и интуиция, стоящая за современными алгоритмами оптимизации моделей после этапа предварительного обучения.

## 🧠 От понимания текста к полезности: Роль RL в жизненном цикле LLM
[[JUMP:00:00]]

Процесс создания современной LLM состоит из нескольких критических этапов [01:08]. Все начинается с **предварительного обучения (Pre-training)** на триллионах токенов, где модель учится предсказывать следующее слово и понимать структуру языка. Вторым шагом является **контролируемое тонкое обучение (Supervised Fine-Tuning, SFT)**, которое превращает «умный словарь» в полезного ассистента, способного отвечать на вопросы [02:38].

Однако, по словам Афшина Амиди, SFT недостаточно для полной настройки модели под человеческие предпочтения. Здесь в игру вступает **Reinforcement Learning (RL)**. Спикеры выделяют две основные области применения RL:

*   **Настройка предпочтений (Preference Alignment):** субъективное улучшение тона и стиля ответов (RLHF).
*   **Усиление рассуждений (Reasoning):** работа с задачами, где есть объективно проверяемый результат, например, в математике или программировании (RLVR) [11:50].

В контексте LLM модель выступает как «агент», ее состоянием является входной промпт, а «действием» — выбор следующего токена или всей последовательности ответа [08:12]. Цель обучения — максимизация ожидаемого вознаграждения (Reward).

## ⚖️ Математика градиента политики и проблема высокой дисперсии
[[JUMP:15:03]]

Основная задача RL — найти такие параметры модели ($\theta$), которые максимизируют функцию вознаграждения. Афшин Амиди подробно разбирает вывод **градиента политики (Policy Gradient)** [18:51]. Ключевой математический трюк здесь заключается в использовании логарифмической производной, что позволяет превратить градиент ожидания в ожидание градиента логарифма вероятности, умноженного на вознаграждение [20:15].

Интуиция проста: если вознаграждение положительное, градиент подталкивает модель увеличивать вероятность таких действий; если отрицательное — уменьшать [22:43]. Однако классический подход сталкивается с серьезными препятствиями:

1.  **Высокая дисперсия:** если все награды велики (например, 100 и 101), модель будет получать огромные обновления параметров для обоих случаев, что делает обучение нестабильным [34:26].
2.  **Отсутствие посимвольного кредитования (Credit Assignment):** стандартная награда дается за весь ответ целиком. Модель может дать верный ответ, используя ошибочные промежуточные шаги, и RL по ошибке закрепит эти ошибки [37:19].
3.  **Дрейф политики:** модель может слишком сильно отклониться от исходного состояния (SFT-модели) и «сломаться», пытаясь взломать функцию вознаграждения (Reward Hacking) [38:55].

## 🛡️ PPO: Близость к истокам и концепция преимущества
[[JUMP:40:45]]

Для решения вышеуказанных проблем был разработан алгоритм **Proximal Policy Optimization (PPO)**. Амиди поясняет, что буква **P (Proximal)** означает стремление держать обновленную модель «близко» к предыдущей версии [41:37].

В PPO вместо «голых» вознаграждений используется понятие **преимущества (Advantage)**. Оно отвечает на вопрос: «Насколько этот конкретный ответ лучше того, что мы ожидали в среднем для данного промпта?» [42:04]. Для этого вводится **функция ценности (Value Function)**, которая обучается предсказывать итоговую награду на основе частичного ответа [45:40].

Чтобы избежать катастрофического забывания и дрейфа, PPO использует два механизма:

*   **Ratio Clipping (Обрезка соотношения):** ограничивает изменение вероятности действия, чтобы оно не превышало определенный порог (обычно 20%) по сравнению со «старой» политикой [56:16].
*   **KL-штраф:** добавление в функцию потерь компонента, который наказывает модель за отклонение от базовой (Reference) модели через дивергенцию Кульбака — Лейблера [58:33].

## 🚀 GRPO: Оптимизация без лишних моделей
[[JUMP:01:07:32]]

Несмотря на эффективность, PPO крайне ресурсозатратен, так как требует одновременного содержания в памяти нескольких моделей (политика, референсная модель, модель вознаграждения и функция ценности) [1:14:20]. В качестве альтернативы Афшин Амиди представляет **Group Relative Policy Optimization (GRPO)**.

Главная инновация GRPO — отказ от функции ценности (Value Function). Вместо того чтобы предсказывать ожидаемую награду нейросетью, алгоритм генерирует группу из $G$ ответов на один и тот же промпт [1:08:25]. Преимущество вычисляется путем нормировки наград внутри этой группы: из награды конкретного ответа вычитается среднее по группе и делится на стандартное отклонение [1:10:52].

**«Проблема длинных ответов» в GRPO:** Исследователи заметили, что модели, обученные через GRPO, склонны генерировать всё более длинные ответы, даже когда качество перестает расти [01:18:55]. Это происходит из-за математической особенности нормировки: модель «предпочитает» длинные плохие ответы коротким плохим, так как вклад каждого отдельного токена в длинном ответе меньше размывает общую статистику [01:22:01].

## 🧪 On-Policy Distillation (OPD): Учитель внутри токенов
[[JUMP:01:25:17]]

Шервин Амиди переходит к обсуждению проблемы посимвольного кредитования. В GRPO и PPO (если награда дается в конце) промежуточные шаги рассуждений остаются без точной оценки. Решением становится **On-Policy Distillation (Дистилляция на основе текущей политики)**.

Этот метод использует сильную модель («учителя») для надзора за «учеником» на уровне каждого токена. В процессе генерации учеником ответа учитель оценивает вероятность каждого выбранного токена [01:34:28]. Если ученик выбирает нелогичный токен (например, «медведь карабкается» в контексте закрытой коробки), он получает штраф [01:35:05].

Основные преимущества OPD:

*   **Плотный сигнал:** обучение идет на каждом токене, а не только в конце предложения [01:36:36].
*   **Эффективность при малых ресурсах:** метод отлично работает для сжатия моделей, когда маленькая модель обучается у большой [01:37:43].
*   **Отсутствие взлома награды:** так как нет отдельной модели вознаграждения, которую можно обмануть, модель просто стремится соответствовать распределению учителя [01:38:01].

В завершение лекции Шервин упоминает вариант **Self-Distillation**, когда модель учится у самой себя, используя «подсказки» (например, зная правильный ответ в промпте во время обучения, но не во время инференса), что позволяет улучшать способности к рассуждению без привлечения сторонних гигантов вроде GPT-4 [01:40:26].