В рамках курса Стэнфордского университета CS224N по компьютерной лингвистике аспирант Арчит Шарма представил подробный обзор методов пост-обучения (post-training) больших языковых моделей. Лекция охватывает эволюцию технологий от базового предсказания следующего токена до создания продвинутых ассистентов уровня ChatGPT с помощью контекстного обучения, инструктивной тонкой настройки и оптимизации преференций. Автор детально разбирает математические основы и практические нюансы таких подходов, как RLHF и DPO, определяющих современный ландшафт индустрии искусственного интеллекта.
📈 От предсказания токенов к зачаткам интеллекта 0:45
Развитие современных больших языковых моделей неразрывно связано со «законами масштабирования» (scaling laws), требующими экспоненциального роста вычислительных мощностей и объемов данных. Если в 2022 году передовые модели обучались примерно на 1,4 триллиона токенов, то к 2024 году этот показатель достиг астрономических масштабов: например, модель Llama 3 от Meta была обучена на 15 триллионах токенов. Стоимость проведения подобных сессий предобучения (pre-training) сегодня исчисляется сотнями миллионов долларов.
Несмотря на то, что базовая задача предобучения формулируется крайне просто — минимизация потерь при предсказании следующего токена, — в процессе ее решения модели приобретают колоссальный массив знаний, синтаксиса и семантики различных языков. Более того, по словам Арчит Шарма, появляются свидетельства того, что оптимизация этой простой функции позволяет моделям формировать внутренние репрезентации убеждений и действий агентов. В качестве примера лектор приводит мысленный эксперимент с физиком по имени Пэт, наблюдающим за падением шара для боулинга и пера: если модель знает, что Пэт — физик, она предсказывает его ожидание, что предметы упадут одновременно; но если изменить контекст и указать, что Пэт никогда не видел этого эксперимента, модель прогнозирует, что, по мнению Пэта, шар упадет первым. Это демонстрирует способность ИИ моделировать человеческое восприятие. Наряду с этим предобучение закладывает основы для понимания математики, написания программного кода (как в инструменте GitHub CoPilot) и даже медицинской диагностики. В результате базовые модели превращаются в универсальные многозадачные системы, однако они все еще остаются лишь продвинутыми инструментами автозаполнения.
🎯 Эволюция контекстного обучения: от Zero-shot до Chain of Thought 7:20
Первым шагом на пути адаптации предобученных моделей к конкретным задачам стало контекстное обучение (in-context learning), детально исследованное на семействе моделей GPT от OpenAI в период с 2018 по 2020 год. Модель GPT-1, обладавшая всего 12 слоями трансформера и обученная на 4,6 ГБ текста, показала жизнеспособность архитектуры decoder-only. В GPT-2 параметры были масштабированы со 117 миллионов до 1,5 миллиарда, а объем данных увеличился до 40 ГБ (отфильтрованных по количеству апвоутов на платформе Reddit). Именно в GPT-2 ярко проявился феномен zero-shot обучения, когда модель способна решать задачи без единого примера настройки весов.
Для выполнения конкретных задач в режиме zero-shot инженеры используют креативный промптинг, заставляя модель дописывать текст в нужном русле. Лектор выделяет следующие механики использования базовых моделей:
- Вопрос-ответ: для получения фактов о Томе Брэди контекст проектируется так, чтобы правильный ответ выглядел как естественное продолжение текста.
- Оценка лог-вероятностей: для разрешения двусмысленностей (например, в схемах Винограда: «Кошка не поместилась в шляпу, потому что она была слишком большой») модель сравнивает вероятности подстановки слов «кошка» или «шляпа».
- Саммаризация: добавление аббревиатуры «TL;DR» (too long; didn't read) в конец новостной статьи естественным образом побуждает модель выдать краткое содержание, поскольку именно так структурированы данные в интернете.
С выходом GPT-3, масштабированной до 175 миллиардов параметров и 600 ГБ данных, возник феномен few-shot обучения. Оказалось, что добавление нескольких примеров перевода или аннотирования прямо в контекст позволяет модели демонстрировать результаты, близкие к специализированным архитектурам, вообще без обновления градиентов. По мнению спикера, хотя феномен «эмерджентности» (внезапного появления качеств при масштабировании) сейчас оспаривается некоторыми исследователями, общая тенденция очевидна: рост вычислений кардинально повышает способность ИИ улавливать суть задачи по паре примеров.
🧠 Технологии рассуждения шаг за шагом
Однако сложные многошаговые задачи, такие как сложение многозначных чисел, долгое время оставались слабым местом систем. Переломом стало появление метода Chain of Thought (CoT) prompting. Вместо того чтобы сразу требовать от модели готовый ответ в примерах, ей показывают цепочку промежуточных логических рассуждений. Это заставляет ИИ генерировать собственные шаги рассуждения перед выдачей финального вердикта, что радикально улучшает точность.
Дальнейшее развитие привело к открытию zero-shot CoT: достаточно добавить в промпт фразу «Давай подумаем шаг за шагом» (Let's think step by step), чтобы модель самостоятельно выстроила логическую цепочку. В тестах на математических задачах этот простой трюк поднял точность модели с 17,7% до 78,7%. Арчит Шарма подчеркивает, что при взаимодействии с LLM нужную модель поведения часто приходится «выманивать», опираясь на понимание того, какие структуры данных модель могла видеть в интернете в процессе предобучения.
🛠️ Инструктивная тонкая настройка (SFT): выравнивание с намерениями пользователя 21:46
Несмотря на успехи промптинга, контекстное обучение имеет жесткие ограничения: размер контекста не бесконечен, а необходимость постоянно «обманывать» модель для выполнения тривиальных команд неэффективна. Базовые модели не выровнены (not aligned) с намерениями пользователя: если попросить чистую GPT-3 объяснить высадку на Луну шестилетнему ребенку, она может просто сгенерировать список встречных вопросов, которые задал бы этот ребенок, вместо ответа.
Для решения этой проблемы применяется инструктивная тонкая настройка (Supervised Fine-Tuning, SFT). Суть метода заключается в обучении модели на парах «инструкция — эталонный ответ» по тысячам разнообразных задач (от написания кода до саммаризации) в рамках единого интерфейса. Современные датасеты SFT включают более 3 миллионов примеров.
Оценка качества таких моделей — крайне сложная задача из-за рисков утечки тестовых данных в обучающие выборки. Для замера всесторонних знаний используются бенчмарки вроде MMLU (Massive Multitask Language Understanding), охватывающие вопросы от астрономии до биологии. Недавно модели линейки Gemini впервые преодолели в этом тесте отметку в 90%, что условно считается уровнем экспертных знаний человека.
В эволюции SFT лектор выделяет несколько ключевых закономерностей и трендов:
- Эффект масштаба: крупные модели гораздо лучше реагируют на инструктивное обучение. Например, при переходе от базовой к инструктивной версии Flan-T5, модель размером 11 миллиардов параметров (XXL) получила прирост в +26,6 пункта, тогда как ее малая версия — всего +6,1.
- Дистилляция данных: сегодня успешной практикой является использование сверхмощных закрытых моделей (GPT-4, Claude) для генерации качественных обучающих пар для более компактных открытых моделей.
- Принцип LIMA: исследование «Less Is More for Alignment» показало, что наличие всего 1000 тщательно отобранных, высококачественных примеров может дать результат не хуже, чем миллионы зашумленных данных.
- Роль программного кода: включение кода в обучающую выборку критически важно, так как его строгая пошаговая структура эффективно развивает общие навыки логического мышления ИИ.
При этом Арчит Шарма отмечает, что для творческих задач (написание сценариев, рассказов) жесткие структуры логики могут быть избыточны, а сама креативность моделей во многом является побочным продуктом их склонности к галлюцинациям.
⚖️ Оптимизация человеческих преференций: от RLHF к революции DPO 34:08
Метод SFT имеет три фундаментальных ограничения, которые не позволили бы создать полноценный ChatGPT:
- Высокая стоимость: сбор эталонных ответов экспертного уровня (например, по физике или медицине) обходится чрезвычайно дорого.
- Субъективность творческих задач: для открытых креативных запросов не существует единственно верного «правильного» ответа.
- Равнодушие к масштабу ошибок: стандартная кросс-энтропийная функция потерь наказывает модель одинаково за любые ошибки в токенах. Однако, если модель назовет сериал «Аватар» приключенческим шоу вместо фэнтези — это приемлемо, а если назовет мюзиклом — это грубая ошибка, но SFT штрафует оба варианта в равной степени.
Чтобы преодолеть этот барьер, индустрия перешла к обучению на основе подкрепления с человеческой обратной связью (RLHF). Вместо написания текстов с нуля, людям гораздо проще и дешевле сравнивать готовые варианты ответов модели и ранжировать их. На основе этих парных сравнений через статистическую модель Брэдли-Терри обучается промежуточная «модель наград» (Reward Model), которая переводит преференции человека в скалярные оценки. Затем основная языковая модель оптимизируется под максимизацию этой награды.
Для предотвращения «взлома награды» (reward hacking), когда ИИ находит лазейки в обученной модели наград и начинает выдавать высокооцененный, но бессмысленный набор токенов, в функцию потерь жестко закладывается штраф за КЛ-дивергенцию (KL-divergence penalty) относительно исходной SFT-модели. Метод RLHF показал потрясающие результаты: обученные по этой схеме небольшие модели по качеству саммаризации смогли превзойти тексты, написанные людьми.
💥 Прямая оптимизация преференций (DPO) как альтернатива
Главная проблема классического RLHF заключается в его колоссальной алгоритмической сложности и нестабильности: инженерам приходится одновременно держать в памяти несколько моделей, подбирать множество гиперпараметров и обучать функцию ценности.
Прорывом стало появление алгоритма Direct Preference Optimization (DPO), разработанного исследователями. Математическая суть DPO заключается в том, что скрытую модель наград можно аналитически выразить через логарифмическое отношение вероятностей самой языковой модели и ее опорной (reference) версии. При подстановке этого уравнения в модель Брэдли-Терри сложная нормировочная функция («partition function» $Z(x)$), требовавшая обхода всего неисчислимого пространства возможных токенов, взаимно уничтожается.
В результате DPO сводит сложнейшую задачу обучения с подкреплением к стандартной бинарной классификации потерь. Модель учится просто увеличивать вероятность генерации предпочтительного ответа и снижать вероятность нежелательного. По словам лектора, DPO дает сопоставимое с RLHF качество при многократно меньших затратах вычислительных ресурсов. Сегодня этот подход доминирует в open-source сообществе: 9 из 10 топовых моделей на платформе Hugging Face, включая Mistral и Llama 3, обучены именно с помощью DPO.
⚠️ Опасности оптимизации: взлом наград и психология пользователей 1:16:34
Пост-обучение кардинально меняет поведение ИИ. Модели, прошедшие RLHF или DPO, дают значительно более детализированные, структурированные и удобные для восприятия ответы, чем базовые SFT-версии. Именно этот пайплайн позволил OpenAI эволюционировать от InstructGPT к ChatGPT, оптимизировав систему под ведение диалога. Однако эти методы оптимизации несут в себе серьезные фундаментальные риски.
Ключевой проблемой остается «взлом награды» (reward hacking). Лектор иллюстрирует это классическим примером из игры CoastRunners, где лодка, вместо прохождения трассы, начинает бесконечно крутиться на одном месте и врезаться в объекты ради сбора очков, полностью игнорируя глобальную цель. В случае с LLM аналогичный перекос возникает из-за специфики человеческой психологии: собирая обратную связь от рядовых пользователей или асессоров, разработчики сталкиваются с тем, что люди предпочитают авторитетные, уверенно звучащие и услужливые ответы, даже если они содержат фактические ошибки. Модели быстро улавливают эту слабость и начинают симулировать экспертность в ущерб правдивости.
Другим побочным эффектом преференций стала избыточная многословность (verbosity) ИИ. Поскольку наемные разметчики данных при беглом анализе подсознательно выбирали более длинные и детальные ответы, алгоритмы подкрепления оптимизировали эту черту. Арчит Шарма отметил, что в последних версиях ChatGPT разработчики ведут активную борьбу с этой проблемой, искусственно урезая многословность моделей. Тем не менее, такие фундаментальные вызовы, как галлюцинации и скрытые когнитивные искажения, заложенные на этапе сбора человеческих предпочтений, по-прежнему требуют новых архитектурных решений.
