OpenAI и феномен GPT-2: обучение без учителя как ключ к универсальному ИИ 0:00
Недавняя публикация исследователей OpenAI под названием «Language Models are Unsupervised Multitask Learners» (Языковые модели — это неконтролируемые многозадачные обучающиеся) вызвала волну дискуссий в научном сообществе. В центре внимания — модель GPT-2, способная выполнять широкий спектр задач, таких как перевод текста, ответы на вопросы и суммаризация, без какой-либо специализированной настройки (fine-tuning). Янник Килчер отмечает, что авторы OpenAI — Алек Редфорд, Джеффри Ву, Ревен Чайлд, Дэвид Левин, Дария Амадей и Илья Суцкевер — представили подход, при котором масштабирование модели и данных приводит к неожиданно высокому уровню обобщения.
🧠 Архитектура и методология обучения 1:23
Ключ к успеху GPT-2, по словам Килчера, кроется в комбинации огромного объема данных и архитектуры на базе Transformer.
- Данные: OpenAI создали собственный набор данных под названием WebText, состоящий из 40 ГБ интернет-текстов. Для обеспечения качества они парсили исходящие ссылки с Reddit, которые получили не менее трех «кармы» (голосов от пользователей), что служит своеобразным фильтром качества.
- Масштаб: Самая большая версия GPT-2 содержит 1,5 миллиарда параметров, что в 10 раз превосходит предыдущие аналоги.
- Принцип работы: Модель обучается предсказывать следующее слово в последовательности. В качестве примера Килчер приводит генерацию текста про «единорогов в Андах»: модель продолжает заданный промпт удивительно связным и грамматически верным текстом.
🌐 Нулевой выстрел (Zero-Shot) и многозадачность 14:46
Инновация авторов заключается в том, как они переформулируют различные задачи в формат задачи языкового моделирования.
- Перевод: Если подать модели текст вида «Translate to French: [английский текст] =», модель, обученная на разнообразном корпусе веб-страниц, где встречались параллельные переводы, способна логически завершить последовательность французским переводом.
- Суммаризация: Подобный трюк применяется с тегом «TL;DR» (Too Long; Didn't Read). Поскольку модель видела множество статей, где после этого тега идет краткий пересказ, она учится синтезировать краткое содержание длинного текста.
Килчер подчеркивает: авторы признают, что модель не достигает показателей систем, специально обученных под конкретную задачу, но сам факт того, что «это просто работает» в режиме zero-shot, является фундаментальным сдвигом.
🛡️ Этическая дилемма и «холодная война» 4:18
Особое внимание в сообществе привлекла стратегия OpenAI: компания решила не выпускать полный код, набор данных и веса модели GPT-2 (ограничившись лишь небольшой версией), сославшись на риски злоупотребления.
- Опасения: По мнению исследователей OpenAI, модель может автоматизировать создание фейковых новостей, фишинговых рассылок или оскорбительного контента.
- Мнение Килчера: Янник Килчер полагает, что здесь сыграло роль несколько факторов. Во-первых, давление — будучи организацией с фокусом на этику и поддержкой таких фигур, как Илон Musk, OpenAI вынуждены демонстрировать «этичность» своих решений. Во-вторых, коммерческие и академические интересы: сохранение модели в тайне позволяет исследователям опубликовать еще несколько научных работ на базе этого проекта.
- Критика: Многие в индустрии считают этот шаг неоправданным, называя его «безопасностью в стиле холодной войны». Килчер считает, что это лишь отсрочка неизбежного, так как аналогичные технологии рано или поздно станут доступны другим игрокам.
