Это подробный аналитический обзор лекции Стэнфордского курса CME295, посвященной методам обучения с подкреплением (Reinforcement Learning, RL) для больших языковых моделей (LLM). Лекцию проводят адъюнкт-профессора Стэнфордского университета Афшин Амиди (Afshine Amidi) и Шервин Амиди (Shervine Amidi). В материале рассматривается математическая база и интуиция, стоящая за современными алгоритмами оптимизации моделей после этапа предварительного обучения.
🧠 От понимания текста к полезности: Роль RL в жизненном цикле LLM 0:00
Процесс создания современной LLM состоит из нескольких критических этапов . Все начинается с предварительного обучения (Pre-training) на триллионах токенов, где модель учится предсказывать следующее слово и понимать структуру языка. Вторым шагом является контролируемое тонкое обучение (Supervised Fine-Tuning, SFT), которое превращает «умный словарь» в полезного ассистента, способного отвечать на вопросы .
Однако, по словам Афшина Амиди, SFT недостаточно для полной настройки модели под человеческие предпочтения. Здесь в игру вступает Reinforcement Learning (RL). Спикеры выделяют две основные области применения RL:
- Настройка предпочтений (Preference Alignment): субъективное улучшение тона и стиля ответов (RLHF).
- Усиление рассуждений (Reasoning): работа с задачами, где есть объективно проверяемый результат, например, в математике или программировании (RLVR) .
В контексте LLM модель выступает как «агент», ее состоянием является входной промпт, а «действием» — выбор следующего токена или всей последовательности ответа . Цель обучения — максимизация ожидаемого вознаграждения (Reward).
⚖️ Математика градиента политики и проблема высокой дисперсии 15:03
Основная задача RL — найти такие параметры модели ($\theta$), которые максимизируют функцию вознаграждения. Афшин Амиди подробно разбирает вывод градиента политики (Policy Gradient) . Ключевой математический трюк здесь заключается в использовании логарифмической производной, что позволяет превратить градиент ожидания в ожидание градиента логарифма вероятности, умноженного на вознаграждение .
Интуиция проста: если вознаграждение положительное, градиент подталкивает модель увеличивать вероятность таких действий; если отрицательное — уменьшать . Однако классический подход сталкивается с серьезными препятствиями:
- Высокая дисперсия: если все награды велики (например, 100 и 101), модель будет получать огромные обновления параметров для обоих случаев, что делает обучение нестабильным .
- Отсутствие посимвольного кредитования (Credit Assignment): стандартная награда дается за весь ответ целиком. Модель может дать верный ответ, используя ошибочные промежуточные шаги, и RL по ошибке закрепит эти ошибки .
- Дрейф политики: модель может слишком сильно отклониться от исходного состояния (SFT-модели) и «сломаться», пытаясь взломать функцию вознаграждения (Reward Hacking) .
🛡️ PPO: Близость к истокам и концепция преимущества 40:45
Для решения вышеуказанных проблем был разработан алгоритм Proximal Policy Optimization (PPO). Амиди поясняет, что буква P (Proximal) означает стремление держать обновленную модель «близко» к предыдущей версии .
В PPO вместо «голых» вознаграждений используется понятие преимущества (Advantage). Оно отвечает на вопрос: «Насколько этот конкретный ответ лучше того, что мы ожидали в среднем для данного промпта?» . Для этого вводится функция ценности (Value Function), которая обучается предсказывать итоговую награду на основе частичного ответа .
Чтобы избежать катастрофического забывания и дрейфа, PPO использует два механизма:
- Ratio Clipping (Обрезка соотношения): ограничивает изменение вероятности действия, чтобы оно не превышало определенный порог (обычно 20%) по сравнению со «старой» политикой .
- KL-штраф: добавление в функцию потерь компонента, который наказывает модель за отклонение от базовой (Reference) модели через дивергенцию Кульбака — Лейблера .
🚀 GRPO: Оптимизация без лишних моделей 1:07:32
Несмотря на эффективность, PPO крайне ресурсозатратен, так как требует одновременного содержания в памяти нескольких моделей (политика, референсная модель, модель вознаграждения и функция ценности) . В качестве альтернативы Афшин Амиди представляет Group Relative Policy Optimization (GRPO).
Главная инновация GRPO — отказ от функции ценности (Value Function). Вместо того чтобы предсказывать ожидаемую награду нейросетью, алгоритм генерирует группу из $G$ ответов на один и тот же промпт . Преимущество вычисляется путем нормировки наград внутри этой группы: из награды конкретного ответа вычитается среднее по группе и делится на стандартное отклонение .
«Проблема длинных ответов» в GRPO: Исследователи заметили, что модели, обученные через GRPO, склонны генерировать всё более длинные ответы, даже когда качество перестает расти . Это происходит из-за математической особенности нормировки: модель «предпочитает» длинные плохие ответы коротким плохим, так как вклад каждого отдельного токена в длинном ответе меньше размывает общую статистику .
🧪 On-Policy Distillation (OPD): Учитель внутри токенов 1:25:17
Шервин Амиди переходит к обсуждению проблемы посимвольного кредитования. В GRPO и PPO (если награда дается в конце) промежуточные шаги рассуждений остаются без точной оценки. Решением становится On-Policy Distillation (Дистилляция на основе текущей политики).
Этот метод использует сильную модель («учителя») для надзора за «учеником» на уровне каждого токена. В процессе генерации учеником ответа учитель оценивает вероятность каждого выбранного токена . Если ученик выбирает нелогичный токен (например, «медведь карабкается» в контексте закрытой коробки), он получает штраф .
Основные преимущества OPD:
- Плотный сигнал: обучение идет на каждом токене, а не только в конце предложения .
- Эффективность при малых ресурсах: метод отлично работает для сжатия моделей, когда маленькая модель обучается у большой .
- Отсутствие взлома награды: так как нет отдельной модели вознаграждения, которую можно обмануть, модель просто стремится соответствовать распределению учителя .
В завершение лекции Шервин упоминает вариант Self-Distillation, когда модель учится у самой себя, используя «подсказки» (например, зная правильный ответ в промпте во время обучения, но не во время инференса), что позволяет улучшать способности к рассуждению без привлечения сторонних гигантов вроде GPT-4 .
