# Meta AI против цензуры: как научная модель Galactica стала жертвой «профессиональных жалобщиков» Источник: https://www.youtube.com/watch?v=ZTs_mXwMCs8 Канал: Yannic Kilcher Опубликовано: 19.11.2022 --- В ноябре 2022 года компания Meta AI представила Galactica — амбициозную языковую модель, обученную на колоссальном массиве научных данных. Однако публичная демо-версия просуществовала всего три дня: после шквала критики в социальных сетях проект был спешно свернут. Исследователь ИИ Янник Кильчер (Yannic Kilcher) анализирует техническую ценность статьи и разбирает «драму», возникшую вокруг релиза, сравнивая страхи современных критиков с опасениями средневековых монахов перед печатным станком. ## 🎭 Драма вокруг демо-версии: почему Meta сдалась под давлением? [[JUMP:0:00]] Релиз Galactica сопровождался громким скандалом. Несмотря на то что модель была выложена в открытый доступ, Meta AI удалила публичную демо-версию из-за массовых жалоб на «галлюцинации» и потенциальную «опасность» генерируемого контента [1:34]. Критику возглавили известные в индустрии фигуры: * **Гэри Маркус** заявил, что быстрое удаление демо — это молчаливое признание того, что модель была выпущена слишком рано и является «глубоко проблематичной» [2:14]. * **Майкл Блэк** выразил обеспокоенность тем, что Galactica генерирует тексты, которые звучат авторитетно и научно, но при этом могут быть ошибочными или предвзятыми. По его мнению, такие тексты могут «просочиться» в реальные научные работы, и их будет трудно обнаружить [3:20]. * **Грэди Буч** назвал модель «статистической бессмыслицей в промышленном масштабе» и охарактеризовал её выпуск как неэтичный и опасный [6:14]. Янник Кильчер и Ян Лекун (главный ученый Meta по ИИ) выступили в защиту проекта. По мнению Кильчера, критики ведут «игру за власть» и стремятся к централизации контроля над технологиями [11:13]. Он сравнивает ситуацию с 1450-ми годами, когда изобретение Иоганна Гутенберга вызывало аналогичный ужас у монахов-переписчиков [11:39]. Янник приводит воображаемый диалог, где монах утверждает, что «слово Божье должны интерпретировать священники, а не разносить его как навоз», опасаясь, что крестьяне начнут обсуждать Евангелие в тавернах [12:32]. ## 🧠 Что такое Galactica: архитектура и цели [[JUMP:14:09]] Galactica — это большая языковая модель (LLM), разработанная специально для работы с научным знанием. В отличие от общих моделей типа GPT-3, Galactica обучалась на курируемом корпусе данных. Ключевые характеристики проекта: * **Задача:** Интеграция и синтез знаний, помощь в написании обзоров литературы, генерация лекций и заметок [16:33]. * **Данные:** Модель обучалась на 106 миллиардах токенов. Это значительно меньше, чем у моделей типа Chinchilla или PaLM, но данные отличаются высочайшим качеством [18:47]. * **Формат:** Весь корпус был приведен к единому формату Markdown для унификации различных типов данных (текст, формулы, код) [18:47]. По словам авторов статьи, Galactica способна находить скрытые связи между исследованиями и «подсвечивать» важные научные открытия, которые могли потеряться в огромном потоке ежедневно публикуемых статей [17:14]. ## 🛠 Технические особенности и инновации [[JUMP:19:14]] Разработчики Meta применили несколько уникальных подходов к обучению модели: 1. **Специальные токены для цитирования:** Для предсказания ссылок используются токены `[START_REF]` и `[END_REF]`. Внутри указывается название статьи и имя первого автора [21:51]. Это позволяет использовать модель как продвинутый поисковик по «связанным работам» [22:30]. 2. **Токен `` (Step-by-step reasoning):** Это инновация для решения математических и физических задач. Токен имитирует «внутреннюю рабочую память» человека [26:50]. * При обучении модель приучают подробно расписывать промежуточные вычисления. * В режиме инференса (работы) выполнение блока `` можно передать внешнему обработчику, например, калькулятору или интерпретатору Python [28:52]. 3. **Обработка данных:** * Числа разбиваются на отдельные цифры для улучшения точности вычислений [22:56]. * Химические соединения и белковые последовательности представлены в виде строк символов (SMILES и аминокислотные коды) [30:11]. 4. **Prompt Pre-training:** Инструкции для различных задач (решение задач, написание кода) включаются в процесс основного обучения, а не только на этапе тонкой настройки (fine-tuning) [35:16]. ## 📈 Результаты тестирования и качество данных [[JUMP:38:22]] Основной вывод статьи: **качество данных важнее их количества**. Galactica превосходит модели Bloom и OPT-175 на тестах Big Bench, несмотря на меньший размер обучающей выборки [14:59]. Основные достижения: * **Многоцикловое обучение (Multiple Epochs):** Вопреки общепринятому мнению, что обучение в несколько эпох вредит модели, Galactica показала хорошие результаты. Это объясняется высокой чистотой и логичностью научного корпуса [39:29]. * **Предсказание цитат:** Модель работает лучше, чем специализированные поисковые движки и нейронные системы поиска (retrieval systems) [49:33]. При увеличении размера модели она начинает корректно предсказывать даже редко цитируемые статьи, что свидетельствует о глубоком «запоминании» специфических знаний [46:01]. * **LaTeX и формулы:** Модель демонстрирует огромный отрыв от конкурентов в предсказании формул по их текстовому описанию [43:23]. * **TruthfulQA:** Самая большая версия Galactica стала первой открытой моделью, которая превзошла GPT-3 в тесте на правдивость ответов [48:01]. ## ⚠️ Критика и этические вопросы [[JUMP:47:21]] Несмотря на технологический успех, вопрос безопасности остается открытым. Противники модели указывают на риск генерации вредных советов. Например, пользователи смогли заставить демо-версию написать статью о пользе поедания битого стекла [8:14]. Янник Кильчер утверждает, что такие примеры — результат намеренной манипуляции пользователями («jailbreaking»). Он задает вопрос: «Кому на самом деле это повредило?» [7:34]. По его мнению, любой инструмент (даже перо или клавиатура) может быть использован для написания плохих вещей, но это не повод запрещать технологию [6:29]. Кильчер призывает перестать использовать оценочные слова вроде «проблематичный» и перейти к нейтральному обсуждению плюсов и минусов, чтобы технология приносила пользу ученым, особенно тем, для кого английский не является родным языком [7:08].