В ноябре 2022 года компания Meta AI представила Galactica — амбициозную языковую модель, обученную на колоссальном массиве научных данных. Однако публичная демо-версия просуществовала всего три дня: после шквала критики в социальных сетях проект был спешно свернут. Исследователь ИИ Янник Кильчер (Yannic Kilcher) анализирует техническую ценность статьи и разбирает «драму», возникшую вокруг релиза, сравнивая страхи современных критиков с опасениями средневековых монахов перед печатным станком.
🎭 Драма вокруг демо-версии: почему Meta сдалась под давлением? 0:00
Релиз Galactica сопровождался громким скандалом. Несмотря на то что модель была выложена в открытый доступ, Meta AI удалила публичную демо-версию из-за массовых жалоб на «галлюцинации» и потенциальную «опасность» генерируемого контента .
Критику возглавили известные в индустрии фигуры:
- Гэри Маркус заявил, что быстрое удаление демо — это молчаливое признание того, что модель была выпущена слишком рано и является «глубоко проблематичной» .
- Майкл Блэк выразил обеспокоенность тем, что Galactica генерирует тексты, которые звучат авторитетно и научно, но при этом могут быть ошибочными или предвзятыми. По его мнению, такие тексты могут «просочиться» в реальные научные работы, и их будет трудно обнаружить .
- Грэди Буч назвал модель «статистической бессмыслицей в промышленном масштабе» и охарактеризовал её выпуск как неэтичный и опасный .
Янник Кильчер и Ян Лекун (главный ученый Meta по ИИ) выступили в защиту проекта. По мнению Кильчера, критики ведут «игру за власть» и стремятся к централизации контроля над технологиями . Он сравнивает ситуацию с 1450-ми годами, когда изобретение Иоганна Гутенберга вызывало аналогичный ужас у монахов-переписчиков . Янник приводит воображаемый диалог, где монах утверждает, что «слово Божье должны интерпретировать священники, а не разносить его как навоз», опасаясь, что крестьяне начнут обсуждать Евангелие в тавернах .
🧠 Что такое Galactica: архитектура и цели 14:09
Galactica — это большая языковая модель (LLM), разработанная специально для работы с научным знанием. В отличие от общих моделей типа GPT-3, Galactica обучалась на курируемом корпусе данных.
Ключевые характеристики проекта:
- Задача: Интеграция и синтез знаний, помощь в написании обзоров литературы, генерация лекций и заметок .
- Данные: Модель обучалась на 106 миллиардах токенов. Это значительно меньше, чем у моделей типа Chinchilla или PaLM, но данные отличаются высочайшим качеством .
- Формат: Весь корпус был приведен к единому формату Markdown для унификации различных типов данных (текст, формулы, код) .
По словам авторов статьи, Galactica способна находить скрытые связи между исследованиями и «подсвечивать» важные научные открытия, которые могли потеряться в огромном потоке ежедневно публикуемых статей .
🛠 Технические особенности и инновации 19:14
Разработчики Meta применили несколько уникальных подходов к обучению модели:
- Специальные токены для цитирования: Для предсказания ссылок используются токены
[START_REF]и[END_REF]. Внутри указывается название статьи и имя первого автора . Это позволяет использовать модель как продвинутый поисковик по «связанным работам» . - Токен
<work>(Step-by-step reasoning): Это инновация для решения математических и физических задач. Токен имитирует «внутреннюю рабочую память» человека .- При обучении модель приучают подробно расписывать промежуточные вычисления.
- В режиме инференса (работы) выполнение блока
<work>можно передать внешнему обработчику, например, калькулятору или интерпретатору Python .
- Обработка данных:
- Prompt Pre-training: Инструкции для различных задач (решение задач, написание кода) включаются в процесс основного обучения, а не только на этапе тонкой настройки (fine-tuning) .
📈 Результаты тестирования и качество данных 38:22
Основной вывод статьи: качество данных важнее их количества. Galactica превосходит модели Bloom и OPT-175 на тестах Big Bench, несмотря на меньший размер обучающей выборки .
Основные достижения:
- Многоцикловое обучение (Multiple Epochs): Вопреки общепринятому мнению, что обучение в несколько эпох вредит модели, Galactica показала хорошие результаты. Это объясняется высокой чистотой и логичностью научного корпуса .
- Предсказание цитат: Модель работает лучше, чем специализированные поисковые движки и нейронные системы поиска (retrieval systems) . При увеличении размера модели она начинает корректно предсказывать даже редко цитируемые статьи, что свидетельствует о глубоком «запоминании» специфических знаний .
- LaTeX и формулы: Модель демонстрирует огромный отрыв от конкурентов в предсказании формул по их текстовому описанию .
- TruthfulQA: Самая большая версия Galactica стала первой открытой моделью, которая превзошла GPT-3 в тесте на правдивость ответов .
⚠️ Критика и этические вопросы 47:21
Несмотря на технологический успех, вопрос безопасности остается открытым. Противники модели указывают на риск генерации вредных советов. Например, пользователи смогли заставить демо-версию написать статью о пользе поедания битого стекла .
Янник Кильчер утверждает, что такие примеры — результат намеренной манипуляции пользователями («jailbreaking»). Он задает вопрос: «Кому на самом деле это повредило?» . По его мнению, любой инструмент (даже перо или клавиатура) может быть использован для написания плохих вещей, но это не повод запрещать технологию .
Кильчер призывает перестать использовать оценочные слова вроде «проблематичный» и перейти к нейтральному обсуждению плюсов и минусов, чтобы технология приносила пользу ученым, особенно тем, для кого английский не является родным языком .
