# Янник Килчер о GPT-2: «Модель учится задачам без обучения»

Источник: https://www.youtube.com/watch?v=u1_qMdb0kYU
Канал: Yannic Kilcher
Опубликовано: 18.02.2019

---

## OpenAI и феномен GPT-2: обучение без учителя как ключ к универсальному ИИ
[[JUMP:0:00]]

Недавняя публикация исследователей OpenAI под названием «Language Models are Unsupervised Multitask Learners» (Языковые модели — это неконтролируемые многозадачные обучающиеся) вызвала волну дискуссий в научном сообществе. В центре внимания — модель GPT-2, способная выполнять широкий спектр задач, таких как перевод текста, ответы на вопросы и суммаризация, без какой-либо специализированной настройки (fine-tuning). Янник Килчер отмечает, что авторы OpenAI — Алек Редфорд, Джеффри Ву, Ревен Чайлд, Дэвид Левин, Дария Амадей и Илья Суцкевер — представили подход, при котором масштабирование модели и данных приводит к неожиданно высокому уровню обобщения.

### 🧠 Архитектура и методология обучения
[[JUMP:1:23]]

Ключ к успеху GPT-2, по словам Килчера, кроется в комбинации огромного объема данных и архитектуры на базе Transformer.

*   **Данные:** OpenAI создали собственный набор данных под названием WebText, состоящий из 40 ГБ интернет-текстов. Для обеспечения качества они парсили исходящие ссылки с Reddit, которые получили не менее трех «кармы» (голосов от пользователей), что служит своеобразным фильтром качества.
*   **Масштаб:** Самая большая версия GPT-2 содержит 1,5 миллиарда параметров, что в 10 раз превосходит предыдущие аналоги.
*   **Принцип работы:** Модель обучается предсказывать следующее слово в последовательности. В качестве примера Килчер приводит генерацию текста про «единорогов в Андах»: модель продолжает заданный промпт удивительно связным и грамматически верным текстом.

### 🌐 Нулевой выстрел (Zero-Shot) и многозадачность
[[JUMP:14:46]]

Инновация авторов заключается в том, как они переформулируют различные задачи в формат задачи языкового моделирования.

*   **Перевод:** Если подать модели текст вида «Translate to French: [английский текст] =», модель, обученная на разнообразном корпусе веб-страниц, где встречались параллельные переводы, способна логически завершить последовательность французским переводом.
*   **Суммаризация:** Подобный трюк применяется с тегом «TL;DR» (Too Long; Didn't Read). Поскольку модель видела множество статей, где после этого тега идет краткий пересказ, она учится синтезировать краткое содержание длинного текста.

Килчер подчеркивает: авторы признают, что модель не достигает показателей систем, специально обученных под конкретную задачу, но сам факт того, что «это просто работает» в режиме zero-shot, является фундаментальным сдвигом.

### 🛡️ Этическая дилемма и «холодная война»
[[JUMP:4:18]]

Особое внимание в сообществе привлекла стратегия OpenAI: компания решила не выпускать полный код, набор данных и веса модели GPT-2 (ограничившись лишь небольшой версией), сославшись на риски злоупотребления.

*   **Опасения:** По мнению исследователей OpenAI, модель может автоматизировать создание фейковых новостей, фишинговых рассылок или оскорбительного контента.
*   **Мнение Килчера:** Янник Килчер полагает, что здесь сыграло роль несколько факторов. Во-первых, давление — будучи организацией с фокусом на этику и поддержкой таких фигур, как Илон Musk, OpenAI вынуждены демонстрировать «этичность» своих решений. Во-вторых, коммерческие и академические интересы: сохранение модели в тайне позволяет исследователям опубликовать еще несколько научных работ на базе этого проекта.
*   **Критика:** Многие в индустрии считают этот шаг неоправданным, называя его «безопасностью в стиле холодной войны». Килчер считает, что это лишь отсрочка неизбежного, так как аналогичные технологии рано или поздно станут доступны другим игрокам.