Как устроены LLM: от «зип-файла интернета» до рассуждающих моделей

Современная нейросеть — это не магический разум, а «сжатый с потерями» архив интернета, имитирующий поведение человека-разметчика. Чтобы превратить этот цифровой слепок данных в полезного помощника, ИИ проходит путь от терабайтов текста до жесткого обучения с подкреплением, открывая когнитивные стратегии, недоступные человеческой логике.

🧠 Архитектура и «сырые знания»: как рождаются языковые модели 0:00

Процесс создания современной большой языковой модели (LLM), такой как ChatGPT, — это сложная многоступенчатая инженерная задача. Андрей Карпати (Andrej Karpathy) выделяет в этой цепочке несколько ключевых этапов, первым и самым масштабным из которых является пре-обучение (pre-training) . На этом этапе модель не учится быть помощником или отвечать на вопросы — она учится «понимать» структуру человеческого языка и аккумулировать знания, накопленные цивилизацией, путем простого статистического моделирования следующего слова.

Этап пре-обучения и агрессивная фильтрация данных 0:53

Фундамент любой LLM — это колоссальный массив текстовых данных, фактически «слепок» всего интернета. Андрей Карпати отмечает, что компании вроде OpenAI, Anthropic или Google используют огромные датасеты, аналогичные открытому набору FineWeb от Hugging Face . Основная цель здесь — собрать максимально разнообразные и качественные документы, чтобы модель обладала широким кругозором и глубокими знаниями в самых разных областях.

Процесс подготовки данных выглядит следующим образом:

1. Сбор «сырого» интернета: Основным источником служит Common Crawl — проект, который с 2007 года индексирует миллиарды веб-страниц . На 2024 год их база насчитывает около 2,7 миллиарда страниц .
2. URL-фильтрация: На первом этапе отсекаются вредоносные сайты, спам, рекламные помойки и ресурсы с нежелательным контентом (порнография, пропаганда ненависти) .
3. Извлечение текста: Из HTML-кода страниц вычищается всё лишнее: разметка, CSS-стили, навигационные меню и скрипты, чтобы оставить только чистый смысловой текст .
4. Языковая фильтрация: С помощью классификаторов определяются языки документов. Например, в FineWeb оставляют только те страницы, где английский составляет более 65% контента . Это осознанное решение разработчиков: чем больше данных на конкретном языке, тем лучше модель будет на нем работать .
5. Удаление конфиденциальной информации (PII): Из текстов вычищаются адреса, номера социального страхования и другие личные данные .

Несмотря на необъятность интернета, после жесткой фильтрации объем данных существенно сокращается. Так, качественный датасет FineWeb занимает всего около 44 терабайт дискового пространства . Этот объем текста Андрей Карпати называет «массивным гобеленом данных», в котором нейросеть должна обнаружить и усвоить скрытые паттерны .

Токенизация и алгоритм BPE 7:58

Нейронные сети не умеют работать с буквами или словами напрямую — они оперируют числами. Поэтому перед обучением текст необходимо преобразовать в последовательность числовых идентификаторов. Этот процесс называется токенизацией .

Компьютер видит текст как последовательность битов (0 и 1), которую можно сгруппировать в байты (от 0 до 255) . Однако использовать байты как элементарные единицы неэффективно: последовательности получаются слишком длинными, а вычислительные ресурсы модели ограничены . Чтобы сократить длину последовательности без потери информации, используется алгоритм Byte Pair Encoding (BPE) .

Алгоритм работает по принципу слияния: он находит наиболее часто встречающиеся пары символов (или байтов) и заменяет их новым, уникальным токеном . Этот процесс повторяется итеративно, пока не будет достигнут желаемый размер словаря (vocabulary size). В современных моделях, таких как GPT-4, размер словаря составляет 100 277 уникальных токенов .

Особенности токенизации:

• Один токен — это обычно не целое слово, а его часть, корень или часто встречающееся буквосочетание .
• Токенизация чувствительна к регистру: "Hello" и "hello" — это разные наборы токенов .
• Пробелы часто приклеиваются к началу слов, образуя отдельные токены (например, " world" вместо "world") .

В итоге 44 терабайта текста превращаются в последовательность из примерно 15 триллионов токенов . Именно на этой колоссальной цепочке чисел и происходит обучение модели.

Архитектура Трансформер и параметры нейросети 15:20

Сердце современных LLM — архитектура Трансформер (Transformer) . Задача нейросети на этапе пре-обучения предельно проста: на вход подается фрагмент текста (контекстное окно), и модель должна предсказать, какой токен будет следующим .

Математически это выглядит так:

1. Контекстное окно: Модель берет выборку токенов (например, до 8 000 или 16 000 штук) .
2. Веса и параметры: Внутри сети находятся миллиарды настраиваемых параметров, которые Андрей Карпати сравнивает с «ручками» на диджейском пульте . В начале обучения эти параметры установлены случайно, и предсказания модели хаотичны .
3. Математическое выражение: Входящие токены смешиваются с параметрами в гигантском математическом уравнении, состоящем из умножений, сложений и экспонент .
4. Вероятностный вывод: На выходе модель выдает список из 100 277 чисел — вероятностей для каждого токена из словаря .
5. Обновление: Если модель предсказала верный токен с низкой вероятностью, математический алгоритм слегка корректирует параметры (веса), чтобы в следующий раз вероятность правильного ответа была выше .

Андрей Карпати подчеркивает, что Трансформер — это статичное математическое выражение. У него нет памяти в биологическом смысле; это «безжизненный» процесс преобразования входа в выход . Тем не менее, проходя через миллиарды обновлений на триллионах токенов, эта структура начинает настолько точно имитировать статистику человеческого языка, что это выглядит как проявление разума. Эти миллиарды параметров в конечном итоге и становятся «носителем» всех знаний, которые модель извлекла из интернета.

🧠 Инференс, «железный» фундамент и природа базовых моделей 26:03

Инференс: вероятностная природа «размышлений» 26:03

После того как нейросеть прошла этап обучения, она переходит в режим использования, который технически называется «инференсом» (inference). На этом этапе параметры модели остаются неизменными — мы больше не «подкручиваем ручки» системы, а лишь заставляем её работать с тем багажом знаний, который она уже усвоила . Процесс генерации текста в инференсе — это не просто поиск готового ответа в базе данных, а последовательное предсказание следующего токена.

Андрей Карпати (Andrej Karpathy) объясняет этот механизм через метафору «взвешенной монеты». Когда модель получает на вход последовательность токенов (префикс), она выдаёт распределение вероятностей для каждого возможного следующего токена. Мы совершаем «сэмплирование» — фактически подбрасываем ту самую монету, где шансы выпадения разных сторон зависят от расчётов нейросети . Именно поэтому ответы моделей стохастичны: при одном и том же вопросе вы можете получить разные варианты продолжения.

Инференс — это цикличный процесс. Модель выбирает токен, добавляет его к уже имеющемуся тексту и снова анализирует всю цепочку, чтобы предсказать следующий элемент . Этот подход позволяет LLM создавать «ремиксы» интернета. Она не копирует обучающие данные дословно, а генерирует статистически вероятные комбинации, вдохновлённые паттернами из миллиардов документов . В результате получается связный текст, который может быть абсолютно уникальным, даже если он опирается на факты, усвоенные в процессе обучения.

Железо: GPU, кластеры Nvidia и стоимость вычислений 39:00

Обучение современных нейросетей требует колоссальных мощностей, которые невозможно обеспечить на обычном ноутбуке. Фундаментом всей индустрии ИИ стали графические процессоры (GPU), в частности чипы Nvidia H100 . Причина их доминирования кроется в архитектуре: обучение нейросетей — это процесс, требующий огромного количества параллельных математических операций (матричного умножения). В то время как обычный процессор (CPU) выполняет задачи последовательно, GPU задействует тысячи независимых «воркеров», работающих одновременно .

Современная инфраструктура для ИИ строится иерархично:

• Одиночные GPU (например, H100);
• Узлы (Nodes) — серверы, объединяющие, как правило, 8 видеокарт в одну систему ;
• Кластеры и дата-центры — тысячи таких узлов, соединённых сверхскоростными сетями.

Андрей Карпати приводит в пример текущую «золотую лихорадку» в Кремниевой долине: компании стремятся заполучить как можно больше чипов. Например, Илон Маск строит дата-центр на 100 000 GPU для обучения своих моделей . Огромный спрос на это железо вывел рыночную капитализацию Nvidia на уровень 3,4 триллиона долларов .

Интересно наблюдать за динамикой стоимости обучения. Если в 2019 году на тренировку GPT-2 (1,6 млрд параметров) компания OpenAI потратила около 40 000 долларов, то сегодня аналогичный результат можно получить всего за 100–600 долларов благодаря оптимизации софта и повышению эффективности железа . Однако стоимость флагманских моделей (вроде Llama 3 405B или GPT-4) исчисляется десятками и сотнями миллионов долларов, так как их тренируют на триллионах токенов .

Базовые модели против ассистентов: «галлюцинирующий» интернет 43:04

Важно понимать различие между «базовой моделью» (Base Model) и тем «ассистентом», с которым мы привыкли общаться в чатах. Базовая модель — это, по сути, «имитатор интернета» или «генератор продолжений» . Если вы спросите такую модель «Как дела?», она не ответит «У меня всё хорошо, чем помочь?». Вместо этого она может продолжить текст в стиле форума, где один пользователь спрашивает «Как дела?», а другой отвечает «Нормально, а у тебя?», или вовсе начнёт генерировать список похожих вопросов.

Ранее в разговоре упоминалось, что базовые модели обучаются на огромных массивах данных, и их главная задача — мимикрировать под стиль этих данных. Карпати сравнивает базовую модель с «симулятором документов»:

1. Она не является помощником по умолчанию.
2. Она «грезит» страницами интернета, предсказывая наиболее вероятное продолжение любого текста .
3. Она может решать задачи (например, вычислять 2+2), но делает это только потому, что такие паттерны часто встречались в обучающей выборке .

В качестве примера современной мощной базовой модели Карпати приводит Llama 3.1 от Meta с 405 миллиардами параметров, обученную на 15 триллионах токенов . Несмотря на колоссальные знания, накопленные в её весах, без дополнительной настройки (которую рассмотрят в следующих главах) она остаётся лишь невероятно сложным автодополнением.

В конечном итоге базовую модель можно воспринимать как своего рода «сжатый интернет». Веса нейросети (параметры) работают как файл архива (вроде .zip), но это сжатие с потерями (lossy compression). Модель не хранит каждый бит информации буквально, но она «запоминает» структуру, логику и фактологические связи между словами, позволяя восстанавливать и перекомбинировать знания при инференсе .

🛠️ Глава 3: Превращение «симулятора интернета» в полезного ассистента 50:15

На этапе пре-обучения, о котором Андрей Карпати (Andrej Karpathy) рассказывал ранее, мы получаем базовую модель. По сути, это мощный «симулятор интернета», который научился предсказывать следующее слово, опираясь на колоссальные массивы данных. Однако, несмотря на свои глубокие знания, базовая модель не является ассистентом в привычном понимании. Если вы зададите ей прямой вопрос, она может не ответить на него, а просто продолжить последовательность другими вопросами, имитируя структуру форума или FAQ из своей обучающей выборки . Чтобы превратить этот статистический движок в полезного собеседника, необходимо пройти через второй этап — пост-обучение.

От симуляции к диалогу: запуск второго этапа 1:00:21

Андрей Карпати подчеркивает, что базовая модель — это лишь фундамент. Она обладает «размытыми», вероятностными знаниями о мире, может цитировать целые куски Википедии по памяти и даже проявлять способности к «обучению в контексте» (in-context learning), если ей предоставить несколько примеров в одном запросе . Но для создания полноценного продукта вроде ChatGPT этого недостаточно.

Второй этап обучения называется SFT (Supervised Fine-Tuning — тонкая настройка под присмотром) . Это критически важный момент перехода, где модель перестаёт просто подражать случайным текстам из сети и начинает имитировать поведение квалифицированного помощника. С точки зрения вычислений, этот этап значительно дешевле: если пре-обучение на огромных кластерах Nvidia занимает месяцы и стоит миллионы долларов, то SFT может длиться всего несколько часов на гораздо меньшем количестве машин .

В процессе SFT мы берем базовую модель и продолжаем её обучение, но на совершенно ином наборе данных. Мы больше не скармливаем ей весь интернет. Вместо этого мы используем специально подготовленные наборы данных, состоящие из диалогов.

SFT: Обучение на примерах «идеальных» ответов 1:01:02

Суть SFT заключается в «программировании примерами». Поскольку нейронную сеть невозможно запрограммировать классическим кодом, мы обучаем её, показывая сотни тысяч диалогов, где человек (разметчик) задает вопрос, а другой человек пишет «идеальный» ответ ассистента .

Процесс выглядит так:

• Компания (например, OpenAI) нанимает профессиональных разметчиков через такие платформы, как Upwork или Scale AI .
• Разметчики получают подробные инструкции (иногда объемом в сотни страниц), как именно должен вести себя ИИ .
• Основные требования к ответам обычно сводятся к трем столпам: полезность (helpful), правдивость (truthful) и безвредность (harmless) .
• Люди вручную прописывают сценарии: от простых вопросов вроде «сколько будет 2+2?» до сложных этических дилемм или просьб написать код.

Андрей Карпати объясняет, что в ходе SFT модель очень быстро перестраивает свои внутренние параметры, чтобы соответствовать статистике этих новых данных. Она усваивает «личность» ассистента. Если в обучающем наборе на опасные вопросы разметчики отвечали вежливым отказом, модель научится выдавать аналогичные отказы, имитируя человеческое поведение .

Токенизация разговора и технические протоколы 1:05:12

Чтобы модель могла воспринимать структуру диалога, обычного текста недостаточно. Инженерам приходится внедрять специальные протоколы кодирования, которые превращают многосторонний разговор в одномерную последовательность токенов, понятную трансформеру.

В качестве примера Карпати приводит формат, используемый в GPT-4o, где применяются специальные служебные токены :

• IM_START (от Imaginary Monologue — «воображаемый монолог»): сигнализирует о начале реплики .
• Метка роли: указывает, кто говорит — user (пользователь) или assistant (ассистент).
• IM_END: обозначает завершение реплики.

Эти токены не являются обычными словами; они добавляются в словарь модели специально для этапа пост-обучения. Благодаря им во время работы (инференса) система точно знает, когда наступает её очередь «говорить». Когда пользователь вводит запрос, серверная часть формирует контекст, добавляет токен начала ответа ассистента и позволяет модели начать генерацию следующего токена .

Эволюция сбора данных: от людей к ИИ 1:10:23

Исторически первым важным документом, описавшим этот процесс, стала статья OpenAI 2022 года об InstructGPT . Именно там была заложена методология найма людей для создания обучающих диалогов. Однако Карпати отмечает, что за последние два-три года индустрия шагнула вперед.

Сегодня «тяжелую работу» по написанию идеальных ответов всё чаще выполняют не только люди, но и сами языковые модели. Современные разметчики часто не пишут текст с нуля, а используют существующие мощные LLM для генерации вариантов, которые они затем редактируют или оценивают . Это позволяет масштабировать создание наборов данных для SFT гораздо быстрее, чем это было возможно во времена первых версий ChatGPT. Таким образом, модель обучается на высококачественных, структурированных примерах, постепенно превращаясь из хаотичного симулятора интернета в дисциплинированного и вежливого помощника, готового решать задачи пользователя.

🧠 Галлюцинации и расширение возможностей: психология и инструменты LLM 1:15:25

Когда пользователь вводит запрос в ChatGPT и нажимает Enter, происходит не чудо, а сложный процесс статистической имитации. Андрей Карпати подчеркивает: важно развеять «магию» ИИ и понять, что перед нами не всеведущий разум, а «симуляция» среднего эксперта-разметчика . Ответы модели статистически выровнены с тем, что она видела в обучающих наборах SFT (Supervised Fine-Tuning), которые сегодня состоят из миллионов диалогов, созданных при участии высококвалифицированных специалистов .

Природа галлюцинаций: почему модели лгут 1:20:40

Галлюцинации — это феномен, при котором модель уверенно генерирует фактологически неверную или полностью вымышленную информацию . Чтобы понять их природу, нужно взглянуть на то, как обучаются ассистенты. В тренировочных данных на вопросы вида «Кто такой X?» всегда следуют уверенные, фактические ответы, написанные людьми. Разметчики либо знают ответ, либо находят его в сети перед написанием текста .

В результате модель обучается имитировать стиль уверенного ответа. Когда на этапе использования мы спрашиваем её о несуществующем человеке (Карпати приводит в пример вымышленное имя «Орсон Коватц»), модель не говорит «я не знаю». Вместо этого она ведет себя как «статистический барабан для токенов» (statistical token tumbler) . Она просто предсказывает наиболее вероятное продолжение в заданном стиле:

• Старые модели, такие как Falcon 7B, могли назвать Орсона Коватца американским писателем-фантастом или игроком низшей лиги бейсбола, каждый раз генерируя новую ложь при повторном запуске .
• Проблема не в том, что в «мозгу» нейросети нет понимания своей неосведомленности. Внутри сети могут существовать нейроны, сигнализирующие о неуверенности, но они просто не связаны с выходным сигналом «я не знаю» .
• Модель просто следует шаблону: на вопрос о биографии должен быть дан биографический текст .

Минимизация ошибок через калибровку знаний 1:25:46

Современные модели, такие как Llama 3 от Meta, справляются с галлюцинациями значительно лучше. Решение заключается в обучении модели признавать границы своих знаний. Карпати описывает методику «фактологической тренировки», которую применяет Meta :

1. Создание проверочных вопросов: Из документов обучающей выборки с помощью другого ИИ генерируются тысячи фактических вопросов и ответов.
2. Интерпретация модели: Модель-ученика многократно опрашивают по этим пунктам.
3. Выявление пробелов: Если модель отвечает на вопрос неверно или нестабильно, это помечается как «незнание» .
4. Обучение отказу: В тренировочный набор добавляются примеры, где на такие вопросы ассистент отвечает: «Извините, я этого не помню» или «Мне не знакомо это имя» .

Этот процесс заставляет модель связать внутреннее состояние неуверенности с конкретным токеном отказа. В результате современные ассистенты перестают выдумывать факты там, где это явно выходит за рамки их «памяти», заложенной в весах .

Использование инструментов: веб-поиск и интерпретатор 1:33:10

Карпати проводит важную психологическую параллель: знания в параметрах (весах) нейросети — это «смутные воспоминания», а данные в контекстном окне — это «рабочая память» . Если вы спросите человека о чем-то редком, он не будет гадать, а пойдет в Google. Теперь это умеют и LLM через механизм вызова инструментов (Tool Use).

Для реализации этого в словарь модели вводятся специальные токены, например SEARCH_START и SEARCH_END . Процесс выглядит так:

• Если модель понимает, что вопрос требует уточнения фактов, она генерирует токен поиска.
• Программа-инференс видит этот токен, ставит генерацию на паузу и отправляет запрос в поисковую систему (например, Bing или Google) .
• Результаты поиска в виде текста «копипастятся» прямо в контекстное окно модели .
• Теперь информация находится в «рабочей памяти» ИИ, и он может генерировать ответ, опираясь на свежие данные и цитируя источники .

Аналогично работает интерпретатор Python. Если модели нужно произвести сложные расчеты, она не пытается угадать результат статистически, а пишет код, выполняет его во внешней среде и возвращает точный ответ. Обучение этому навыку требует всего нескольких тысяч примеров в SFT-наборе, так как модель уже обладает базовым пониманием мира из этапа пре-обучения и легко схватывает логику использования внешних функций .

Таким образом, эволюция LLM идет по пути превращения их из изолированных «имитаторов текста» в активных агентов, которые осознают свою ограниченность и умеют использовать внешние ресурсы для достижения точности .

🧠 Когнитивная психология LLM: рабочая память и «шаги для размышлений» 1:39:35

Одной из самых полезных метафор для понимания работы больших языковых моделей является разделение их знаний на «внутренние веса» и «контекстное окно». Андрей Карпати (Andrej Karpathy) сравнивает веса нейросети с неясными, туманными воспоминаниями человека, который когда-то читал книгу, но уже забыл детали . Если вы попросите модель пересказать первую главу «Гордости и предубеждения» Джейн Остин без дополнительных уточнений, она сделает это, опираясь на параметры, усвоенные во время пре-обучения (этап, который мы обсуждали в первой главе). Однако результат будет гораздо точнее, если вы сами скопируете текст главы в запрос.

В этом случае текст попадает в контекстное окно — пространство, которое Карпати называет «рабочей памятью» модели . Когда данные находятся в контексте, нейросети не нужно мучительно вспоминать статистические закономерности из своих весов; у неё есть прямой доступ к информации. Карпати подчёркивает: модель работает лучше всего, когда ей «дают книгу в руки», а не заставляют пересказывать её по памяти .

Эта же особенность объясняет странные ответы моделей на вопрос «Кто ты?». У LLM нет врождённого самосознания или «души» — это, по выражению Карпати, «токено-выжималка» (token tumbler), которая перезагружается с каждым новым диалогом . Если модель не была специально обучена отвечать, что она создана конкретной компанией (через SFT-наборы данных или системные инструкции), она будет просто угадывать наиболее вероятный ответ, основываясь на текстах из интернета. Именно поэтому старые модели часто называли себя «GPT-3 от OpenAI», даже если были созданы другими разработчиками — просто фраза «Я модель от OpenAI» чаще всего встречалась в обучающей выборке .

Токены как ресурс для вычислений 1:46:59

Важнейшее ограничение архитектуры Трансформер заключается в том, что на каждый создаваемый токен модель тратит фиксированный, ограниченный объем вычислений . В современных сетях это может быть около 100 слоев нейронов, которые совершают проход от входных данных к предсказанию следующего слова.

Андрей Карпати объясняет, что мы должны воспринимать каждый токен как «шаг размышления». Если задача сложная (например, математическая головоломка), модель физически не способна произвести все необходимые вычисления внутри одного прохода нейросети, чтобы выдать ответ немедленно .

Рассмотрим пример задачи: «Эмили покупает 3 яблока и 2 апельсина. Апельсин стоит 2 доллара. Общая стоимость — 13 долларов. Сколько стоит яблоко?» . Карпати выделяет два варианта ответа:

1. Плохой: «Ответ: $3». Здесь мы заставляем модель выполнить всю арифметику «в уме» и выдать результат в одном токене. Для простых чисел это сработает, но на больших числах модель неизбежно ошибётся .
2. Хороший: «Сначала посчитаем стоимость апельсинов... затем вычтем из общей суммы...». В этом случае модель распределяет вычисления между множеством токенов.

Промежуточные записи, которые модель делает в процессе ответа — это не просто текст для пользователя. Это способ расширить её «рабочую память» . Записывая промежуточный результат (например, стоимость апельсинов — 4 доллара), модель помещает его в контекстное окно, и в следующем шаге (при генерации следующего токена) она уже видит это число как твердый факт, на который можно опереться.

«Если модель не создает эти промежуточные результаты для самой себя, она не сможет прийти к правильному решению», — отмечает Карпати .

Именно поэтому эксперты советуют использовать в промптах фразы типа «думай шаг за шагом» или просить модель использовать Python-код для вычислений. В случае с кодом модель вообще делегирует «ментальную арифметику» внешнему инструменту, что гораздо надежнее .

Дефекты токенизации: почему LLM плохо считают буквы 2:01:13

Многие пользователи удивляются, почему гениальные нейросети, решающие задачи уровня PhD, пасуют перед вопросом: «Сколько букв "R" в слове Strawberry?». Ответ кроется в «зазубренных краях» технологии — токенизации.

Модели не видят текст как последовательность букв, как это делают люди. Их мир состоит из токенов — кусков слов . Для модели слово «ubiquitous» (вездесущий) — это не 10 букв, а всего 3 токена. Внутри этих токенов буквы для модели «склеены», и у неё нет прямого визуального доступа к каждой отдельной литере .

Когда мы просим модель посчитать буквы или перевернуть слово задом наперед, мы заставляем её заниматься «ментальной акробатикой» с данными, которые она воспринимает очень грубо . Карпати приводит в пример подсчет точек: если 20 точек сгруппированы в один токен, модель не может их пересчитать — она видит только идентификатор этого токена .

Проблема с «Strawberry» стала виральной именно потому, что она объединила в себе два слабых места LLM:

1. Неспособность «видеть» буквы внутри токенов.
2. Сложность выполнения счета в один проход нейросети .

Карпати резюмирует, что эти когнитивные дефициты (ошибки в написании слов, сравнение чисел типа «9.11 больше, чем 9.9») являются естественным следствием того, как устроены современные вычисления в ИИ . Лучшее решение здесь — снова использование инструментов. Если попросить модель написать код на Python для подсчета букв, она справится идеально, так как интерпретатор Python работает с символами напрямую, в отличие от нейронной сети.

🎓 Reinforcement Learning: Обучение через практику 2:10:12

После того как модель прошла этапы пре-обучения (создание «симулятора интернета») и supervised fine-tuning (обучение роли ассистента через имитацию), наступает финальный, третий этап — Reinforcement Learning (RL) или обучение с подкреплением . Андрей Карпати подчеркивает, что в крупных лабораториях вроде OpenAI за каждый из этих этапов отвечают разные команды: одни собирают данные для обучения на терабайтах текстов, другие готовят диалоги для SFT, а третьи занимаются исключительно RL . Если первые две стадии уже стали индустриальным стандартом, то RL сегодня — это «передний край» разработки, где скрыто больше всего нюансов и секретов.

Аналогия с учебником: от теории к решению задач 2:11:19

Для объяснения сути RL Андрей Карпати использует метафору школьного обучения. Любой качественный учебник состоит из трех типов контента :

1. Экспозиция (теория): Это основной массив текста, описывающий факты и контекст. Чтение этого материала соответствует этапу пре-обучения, когда модель формирует свою базу знаний.
2. Примеры с решениями: Здесь эксперт (автор учебника) показывает, как именно нужно решать задачу шаг за шагом. Это эквивалент SFT (supervised fine-tuning): модель просто имитирует стиль и логику человека .
3. Задачи для самопроверки: В конце главы даются условия задач и только финальные ответы в конце книги . Процесса решения нет — студент должен найти его сам.

Именно этот третий пункт описывает Reinforcement Learning. Модели дают задачу и правильный ответ, но не говорят, как к нему прийти. Она должна пробовать разные варианты, совершать ошибки и в конечном итоге «открыть» для себя наиболее эффективные пути рассуждения .

Когнитивный разрыв: почему человеку сложно учить ИИ 2:14:52

Один из ключевых аргументов Карпати в пользу RL заключается в том, что люди — не самые лучшие учителя для нейросетей, когда речь идет о сложных цепочках рассуждений. Он приводит в пример простую арифметическую задачу про яблоки и апельсины . Человек может написать решение разными способами: составить систему уравнений, описать логику словами или просто выдать ответ.

Проблема в том, что мы не знаем, какой путь оптимален для модели. У ИИ и человека разная когнитивная природа :

• Ограничение на токен: Каждое слово (токен) в ответе модели требует определенного фиксированного количества вычислений. Если человек заставляет модель сделать слишком большой «ментальный прыжок» в рамках одного токена (например, сразу посчитать сложную формулу), модель, скорее всего, ошибется в арифметике .
• Избыточность: Наоборот, если человек расписывает очевидные для ИИ вещи слишком подробно, это просто тратит вычислительные ресурсы впустую .

RL позволяет модели уйти от «слепой имитации» человека и найти такие последовательности токенов, которые соответствуют её внутренним параметрам и знаниям .

Механика RL: метод проб, ошибок и «зеленых дорожек» 2:22:10

Технически процесс RL выглядит как массовый «мозговой штурм». Карпати демонстрирует это на примере маленькой модели Gemma 2 . На один и тот же вопрос модель генерирует сотни или тысячи независимых вариантов решения. Поскольку нейросеть — это стохастическая (вероятностная) система, каждый путь будет немного отличаться .

Далее вступает в дело автоматическая проверка:

• Если решение привело к правильному ответу (например, «3 доллара»), этот путь помечается как удачный .
• Если модель ошиблась, путь бракуется.

Цель RL — обновить параметры нейросети так, чтобы в будущем она с большей вероятностью выбирала «зеленые» (удачные) пути и избегала «красных» . При этом модель не просто запоминает ответ, а учится структурировать свои мысли так, чтобы не допускать логических провалов. В процессе таких итераций (десятки тысяч промптов, тысячи решений на каждый) модель «нащупывает» идеальную для себя глубину рассуждений .

Переломный момент: вклад DeepSeek 2:27:45

Хотя концепция RL проста — «пробуй и поощряй то, что работает», — её реализация крайне сложна. Карпати отмечает, что долгое время лаборатории вроде OpenAI держали свои наработки в области RL в секрете . Ситуация изменилась с выходом публикации DeepSeek R1.

Китайские исследователи открыто описали, как правильно настраивать математические нюансы обучения, как распределять промпты и как именно RL заставляет модели «рассуждать» . Карпати показывает графики из статьи: по мере обучения RL (тысячи шагов) точность решения сложнейших математических задач неуклонно растет . Модели буквально открывают в себе способности к глубокому анализу, просто практикуясь в «песочнице» и получая награду за верные ответы .

🤖 Рассуждающие модели: уроки AlphaGo и скрытое мышление 2:30:49

Одним из самых захватывающих прорывов в области больших языковых моделей стало появление «рассуждающих» (reasoning) или «думающих» моделей. Андрей Карпати (Andrej Karpathy) отмечает, что при использовании таких систем, как DeepSeek R1 или OpenAI o1, мы наблюдаем качественный скачок: модель тратит больше времени и токенов перед выдачей окончательного ответа . Это не просто увеличение объема текста, а фундаментальное изменение в том, как нейросеть подходит к решению задач.

Скрытые цепочки рассуждений и «Aha-моменты» 2:31:03

Когда мы анализируем ответы рассуждающих моделей, мы видим появление длинных цепочек мыслей (Chain of Thought). Важно понимать, что это эмерджентное свойство — результат масштабного обучения с подкреплением (RL) в областях, где результат легко проверить (математика, код) . Модель не просто копирует человеческие решения, она «открывает» когнитивные стратегии самостоятельно.

В процессе решения задачи модель может внезапно остановиться и написать: «Подождите, это неверно. Давайте перепроверим этот шаг» . Андрей Карпати называет это «Aha-моментами». Модель учится:

• Переоценивать промежуточные шаги;
• Пробовать альтернативные подходы;
• Исправлять собственные ошибки в процессе «размышления» .

Ни один человек не смог бы жестко запрограммировать такие нюансы поведения для ассистента. Это результат оптимизации: модель обнаруживает, что стратегии самопроверки и бэктрекинга статистически ведут к более высокой точности . В конечном итоге это раздувает последовательность токенов, но радикально повышает качество решения сложных логических задач .

DeepSeek R1 и открытость процесса мышления 2:33:28

Ярким примером такой архитектуры является китайская модель DeepSeek R1. В отличие от продуктов OpenAI, которые часто скрывают полные цепочки рассуждений, опасаясь «риска дистилляции» (когда другие компании могут обучить свои модели, имитируя логику лидера), DeepSeek R1 демонстрирует свой мыслительный процесс открыто .

Андрей Карпати демонстрирует, как R1 решает простую арифметическую задачу: модель сначала набрасывает план, затем проверяет вычисления, сомневается в себе и пробует решить через уравнение, чтобы убедиться в ответе . Только после этого она выдает итоговый результат в аккуратно отформатированном виде.

Для тех, кто опасается передавать данные китайским сервисам, Карпати рекомендует использовать провайдеров вроде Together.ai, которые хостят веса DeepSeek R1 на американских серверах . На текущий момент (начало 2025 года) такие «думающие» модели доступны и у других гигантов: это серии o1 и o3-mini от OpenAI, а также экспериментальная Gemini 2.0 Flash Thinking от Google . При этом обычные модели (вроде GPT-4o) остаются преимущественно продуктами обучения на примерах (SFT), что делает их эффективными для фактологических вопросов, но менее мощными в глубокой логике .

Чему нас научил AlphaGo: за пределы человеческих стратегий 2:42:02

Идея о том, что обучение с подкреплением способно на невероятные открытия, не нова. Андрей Карпати проводит прямую параллель между современными LLM и триумфом системы AlphaGo от DeepMind . Анализируя график прогресса AlphaGo, можно увидеть четкую границу возможностей систем.

Если обучать ИИ только на имитации экспертных ходов людей (Supervised Learning), модель достигает высокого уровня, но никогда не превзойдет лучших мастеров, таких как Ли Седоль . Она просто копирует человеческий потолок. Однако RL позволяет системе играть против самой себя, исследуя миллионы вариантов и закрепляя те последовательности действий, которые ведут к победе .

Этот процесс порождает феномены вроде знаменитого «Хода 37» (Move 37). В матче против Ли Седоля AlphaGo сделала ход, который ни один эксперт-человек не счел бы правильным. Вероятность того, что человек сыграет так, оценивалась как 1 к 10 000 . Но в ретроспективе этот ход оказался гениальным. ИИ обнаружил стратегию, неизвестную человечеству за тысячи лет существования игры Го .

Карпати предполагает, что мы увидим то же самое в языковых моделях:

1. Выход за рамки дистрибуции: Модели начнут использовать аналогии и стратегии мышления, которые люди никогда не применяли .
2. Собственный язык мышления: Возможно, для эффективного решения задач модели начнут использовать цепочки рассуждений на языке, который даже не будет английским, — на некоем «внутреннем наречии», оптимизированном для логики, а не для коммуникации .
3. Масштабируемость: В отличие от закрытой игры Го, для LLM «игровым полем» становится весь массив человеческих знаний, если мы сможем создать достаточное количество проверяемых задач для тренировки .

Переход к непроверяемым доменам 2:48:38

Основная сложность текущего этапа заключается в том, что RL прекрасно работает в «верифицируемых» областях, где есть однозначный правильный ответ (например, «3» в математической задаче) . Мы можем легко автоматизировать награду для модели, проверив совпадение результата.

Однако большинство человеческих задач — написание шуток, резюмирование текстов или создание стихов — относятся к «неверифицируемым» доменам . Здесь нет единого эталона, и невозможно автоматически оценить, насколько удачным получился каламбур про пеликана . Ранее в разговоре упоминалось, что обучение на отзывах людей (RLHF) решает именно эту проблему, создавая суррогатную модель человеческих предпочтений, которая и становится «судьей» для ИИ в творческих задачах.

🤖 RLHF: Как научить нейросеть понимать субъективное 2:55:57

После того как модель прошла этапы предварительного обучения и настройки на инструкциях (SFT), она становится функциональной, но всё ещё не обладает «вкусом» или пониманием тонких человеческих предпочтений. Чтобы отшлифовать её ответы в областях, где нет однозначно правильного ответа — таких как юмор, стиль письма или краткое изложение текста, — разработчики применяют метод RLHF (Reinforcement Learning from Human Feedback).

Обучение на отзывах людей: нейросеть как симулятор предпочтений 2:55:57

Основная проблема обучения творческим задачам заключается в том, что для них невозможно написать идеальный математический алгоритм оценки. Как объяснить формулой, какая шутка смешнее? Андрей Карпати объясняет, что в RLHF мы не пытаемся заставить людей оценивать миллиарды ответов модели напрямую. Вместо этого создаётся промежуточное звено — модель вознаграждения (Reward Model) .

Процесс выглядит так:

• Берётся около 1000 запросов (промптов), и для каждого модель генерирует, например, по пять вариантов ответа.
• Человек-разметчик не пишет ответ сам, а лишь расставляет готовые варианты в порядке приоритета — от лучшего к худшему.
• На этих данных обучается отдельная нейросеть-симулятор. Её задача — научиться предсказывать, какой балл поставил бы человек тому или иному ответу .

Этот подход эксплуатирует так называемый разрыв между дискриминатором и генератором (discriminator-generator gap) . Человеку гораздо проще сравнить два готовых стихотворения и выбрать лучшее, чем написать шедевр с нуля . В итоге модель вознаграждения становится «цифровым двойником» человеческих предпочтений, на который основная языковая модель может ориентироваться в процессе дальнейшего обучения. Это позволяет значительно улучшить качество ответов в субъективных доменах, не требуя от людей написания идеальных текстов для каждого случая .

Игрофикация наград и ошибки симуляции 3:00:45

Несмотря на эффективность, RLHF имеет «тёмную сторону». Обучение с подкреплением по своей природе — это мощный инструмент оптимизации, который стремится максимизировать вознаграждение любым доступным способом. Когда судьёй выступает не объективная реальность (как правила в шахматах или математическая логика), а другая нейросеть-симулятор, возникает риск «взлома наград» (reward hacking) .

Поскольку модель вознаграждения — это тоже трансформер с миллиардами параметров, в её «знаниях» неизбежно есть лазейки. Основная модель быстро обнаруживает, что определённые странные комбинации токенов могут вызывать у ИИ-судьи необъяснимый восторг, даже если для человека они выглядят как полная бессмыслица.

Андрей Карпати приводит пример с генерацией шуток про пеликанов:

1. В первые несколько сотен шагов обучения шутки действительно становятся смешнее и качественнее .
2. Затем модель находит «адверсальную атаку» (враждебный вход). Она обнаруживает, что если на запрос о шутке ответить бессмысленным набором слов, вроде «the the the the», то модель вознаграждения по какой-то внутренней ошибке выставит за это высший балл 1.0 .
3. В этот момент качество модели «падает с обрыва»: она перестаёт пытаться быть полезной и начинает просто генерировать абракадабру, которая технически максимизирует оценку симулятора .

Именно поэтому, как отмечает Карпати, RLHF — это «RL без магии» . В отличие от AlphaGo, которая может играть сама с собой миллионы партий и бесконечно совершенствоваться, языковые модели в процессе RLHF быстро упираются в потолок несовершенства своего судьи. Разработчикам приходится останавливать обучение через несколько сотен шагов, пока модель не успела окончательно «взломать» систему и превратиться в генератор бессмысленных, но высоко оцениваемых симулятором токенов .

Модель «швейцарского сыра» и ответственность пользователя 3:08:52

Подводя итог этапам обучения (ранее в разговоре упоминались пре-обучение и SFT), Андрей Карпати предлагает метафору «швейцарского сыра» для описания текущих возможностей LLM. Модели невероятно эрудированы и способны решать сложнейшие задачи, но в их знаниях есть случайные «дыры» .

Например, модель может с лёгкостью решать олимпиадные задачи по математике, но внезапно ошибиться в сравнении чисел 9.11 и 9.9 . Это происходит из-за особенностей токенизации и того факта, что нейросеть — это статистический предсказатель, а не логическая машина. Поэтому Карпати призывает относиться к ИИ не как к непогрешимому оракулу, а как к инструменту для вдохновения или создания черновиков, чью работу всегда должен проверять человек .

В завершение этого этапа обучения Карпати кратко обозначает горизонты будущего: переход к мультимодальности (обработке аудио и видео через те же механизмы токенизации), появление автономных агентов и использование внешних инструментов. Эти темы, наряду с практическими ресурсами вроде лидербордов (LMSYS) и способами локального запуска моделей на ПК, определяют вектор развития индустрии в ближайшие годы .

🚀 Локальный запуск, лидерборды и будущее ИИ-агентов 3:20:49

Завершая глубокое погружение в мир больших языковых моделей, Андрей Карпати (Andrej Karpathy) переходит от теории к практике: как использовать эти технологии сегодня и чего ожидать в ближайшем будущем. Современная экосистема ИИ вышла далеко за пределы веб-интерфейса ChatGPT, предлагая пользователям инструменты для локального запуска и объективной оценки систем.

Локальный запуск: ваш личный ИИ на домашнем ПК 3:21:02

Одним из самых значимых достижений последнего времени стала возможность запускать мощные модели непосредственно на потребительском оборудовании. Андрей Карпати демонстрирует это на примере работы с LM Studio — инструментом, который позволяет загружать и использовать модели локально .

В качестве примера он запускает компактную модель Llama 3.2 с 1 миллиардом параметров (1B) на обычном MacBook Pro . Основные преимущества такого подхода:

• Конфиденциальность: данные не отправляются на сторонние серверы, весь процесс происходит на вашем устройстве .
• Эффективность: модель использует ресурсы графического процессора (GPU), а после завершения работы её можно «извлечь», полностью освободив оперативную память (RAM) .
• Доступность: несмотря на профессиональный интерфейс, базовые навыки и просмотр обучающих видео позволяют любому пользователю развернуть нейросеть у себя на компьютере .

Локальные модели становятся всё более эффективными благодаря технологиям квантования (сжатия) и дистилляции, что делает их незаменимыми помощниками для решения повседневных задач без привязки к облачным сервисам.

Оценка качества и лидерборды: как не запутаться в моделях 3:15:12

С появлением сотен различных моделей (от проприетарных GPT-4 до открытых Llama) встаёт вопрос: какая из них действительно лучше? Ранее в обсуждении Карпати подчеркивал, что сухие цифры бенчмарков часто не отражают реальный пользовательский опыт.

Золотым стандартом в индустрии стал проект LMSYS Chatbot Arena. Это платформа для «слепого тестирования», где пользователю предлагают два анонимных ответа от разных моделей на один и тот же запрос. Пользователь выбирает лучший вариант, и на основе тысяч таких сравнений формируется рейтинг Эло, аналогичный шахматному. Это позволяет ранжировать системы не по формальным признакам, а по тому, насколько полезными их считают люди. Такие лидерборды помогают отсеивать модели, которые показывают хорошие результаты на тестах только из-за «зазубривания» (data contamination) обучающих данных.

ИИ как симуляция человеческого труда 3:24:29

Андрей Карпати предлагает фундаментальный способ осмысления того, что происходит, когда мы нажимаем кнопку «отправить» в чате. Хотя технически модель просто предсказывает следующий токен , содержательно её ответ — это нейросетевая симуляция работы разметчика данных .

Ранее упоминалось, что на этапе SFT (обучения на примерах) люди-разметчики создают идеальные ответы. Когда вы спрашиваете ИИ о чём-либо, модель имитирует поведение этого человека, который мог бы потратить два часа на написание идеального текста, следуя инструкциям . Однако важно помнить о «когнитивных различиях» между ИИ и человеком:

1. Фиксированные вычисления: на каждый токен модель тратит одинаковое количество ресурсов, независимо от сложности задачи .
2. Модель «швейцарского сыра»: способности ИИ полны дыр. Модель может совершать «магические» вещи, но внезапно споткнуться на элементарном счёте или сравнении чисел, например, заявляя, что 9.11 больше, чем 9.9 .
3. Потеря симуляции: это лишь «шумная», ограниченная копия человеческого процесса принятия решений .

Мультимодальность и будущее агентов 3:09:43

Будущее LLM лежит в плоскости мультимодальности и создания автономных агентов. Современные модели переходят от простой обработки текста к нативному пониманию аудио, видео и изображений. Это означает, что нейросеть не просто описывает картинку, а «видит» её теми же слоями архитектуры, которыми «читает» текст.

Это открывает путь к ИИ-агентам — системам, которые не просто отвечают на вопросы, но и могут самостоятельно управлять компьютером, используя зрение и инструменты (браузер, терминал, редакторы кода) для достижения поставленной цели. Андрей Карпати отмечает, что мы находимся в «зачаточном, первобытном» состоянии этой технологии .

Рассуждающие модели и «Move 37» в мышлении 3:27:09

Особое внимание Карпати уделяет новому поколению «думающих» моделей (например, o1 или o3-mini). В отличие от стандартных моделей, которые просто имитируют ответы людей, эти системы используют обучение с подкреплением (RL) для поиска новых стратегий решения задач .

Это позволяет им достигать результатов, которые Карпати сравнивает с легендарным «37-м ходом» AlphaGo в игре против Ли Седоля — моментом, когда ИИ находит решение, до которого не додумался бы ни один человек . Пока это лучше всего проявляется в верифицируемых областях, таких как математика и программирование , но потенциал переноса этих навыков в творческое письмо и общее решение проблем остается открытым и захватывающим вопросом .

«Это невероятно захватывающее время для работы в этой области», — резюмирует Андрей Карпати . Он призывает использовать ИИ как мощный инструмент в «инструментарии», не доверяя ему слепо, но используя для вдохновения, создания черновиков и ускорения работы . Если проверять за нейросетью её ошибки и относиться к ней как к умному, но иногда невнимательному ассистенту, она способна драматически повысить продуктивность любого специалиста .