В новом выпуске подкаста Machine Learning Street Talk ведущий Тим Скарфе обсуждает с вице-президентом по исследованиям в Cohere Сарой Хукер фундаментальные проблемы регулирования и развития искусственного интеллекта. Главной темой беседы стал критический анализ современных регуляторных подходов, таких как фиксированные пороги вычислительной мощности в законах США и ЕС, а также технологические барьеры в создании многоязычных моделей. Собеседники подробно разбирают, почему простая гонка за масштабом вычислений упирается в архитектурные тупики и усугубляет глобальное цифровое неравенство.
⚖️ Пороги вычислительной мощности: иллюзия контроля в законах об ИИ 2:05
В основе недавней аналитической статьи Сары Хукер лежит критический разбор концепции «порогов вычислительной мощности» (compute thresholds), которая легла в основу ключевых мировых нормативных актов в сфере ИИ. Этот подход предполагает, что модели, достигшие определенного масштаба в будущем, задекларируют совершенно иной профиль рисков и потребуют особого надзора со стороны государства. В исполнительном указе президента США этот порог был установлен на уровне $10^{26}$ FLOPS, в то время как Европейский союз в своем Законе об ИИ (EU AI Act) решил проявить большую строгость и опустил планку до $10^{25}$ FLOPS. Метрика FLOPS представляет собой простой подсчет всех математических операций — сложения, вычитания и в особенности умножения матриц, доминирующих в современных сетях, — выполненных в процессе обучения.
По словам Хукер, регуляторы отдают предпочтение метрике FLOPS по нескольким прагматичным причинам:
- Она является аппаратно-независимой (hardware agnostic), что позволяет одинаково оценивать затраты независимо от архитектуры чипов.
- Её легко измерить, так как это простой арифметический учет операций.
- Она дает правительствам определенную гибкость, избавляя от необходимости детально специфицировать конкретные типы рисков.
Тем не менее Хукер считает такой подход глубоко ошибочным. Главная проблема заключается в том, что эти нормативные акты ориентированы исключительно на будущее и никак не затрагивают реальные риски, существующие в дикой природе прямо сейчас. Порог был установлен примерно на уровне возможностей модели GPT-4, хотя официального научного обоснования этому выбору со стороны правительств предоставлено не было.
💸 Закон Гудхарта и обход регуляторных ограничений 11:04
Тим Скарфе отметил, что введение жесткого числового лимита неизбежно сталкивается с действием закона Гудхарта: когда показатель становится целью, он перестает быть хорошим показателем. Скарфе привел аналогию с банковской системой, где установление лимита на транзакции в размере $10 000 провоцирует появление огромного количества операций на сумму $9 999 ради обхода контроля.
Хукер соглашается с этой оценкой и утверждает, что отслеживание FLOPS на протяжении жизненного цикла модели превратится в неразрешимую задачу для государств. На рынке сложилась практика, когда пользователи скачивают базовые модели с платформы Hugging Face и осуществляют их дообучение (continued pre-training), наслаивая собственные методы оптимизации. В таких условиях невозможно точно установить совокупный объем вычислений, который был вложен в итоговые веса нейросети. Ситуация усложняется архитектурными решениями:
- В моделях типа Mixture of Experts (MoE) в процессе инференса могут быть задействованы лишь несколько экспертов из всей системы.
- При классическом ансамблировании (ensembling) модели вообще не обучаются совместно, а объединяются лишь на финальном этапе вывода.
В качестве альтернативы Хукер предлагает отказаться от статических точек перегиба и перейти к динамической оценке рисков. Она приводит аналогию с агентом по недвижимости, который оценивает стоимость дома не по абсолютному шаблону, а на основе перцентиля и контекста окружающих предложений в районе. Регулирование должно быть гибким, привязанным к конкретным классам моделей (например, биологическим или мультимодальным) и оценивать риски динамически. Если правительства намерены сохранить вычисления в качестве метрики, им жизненно необходимо дополнить её вспомогательными индексами реального вреда.
📉 Оптимизация на этапе вывода против «Горького урока» Саттона 12:13
Серьезным аргументом против жесткой привязки к FLOPS при обучении является бурное развитие методов пост-тренинговой оптимизации. Сюда относятся обучение с подкреплением (RLHF), инструктивный тюнинг, дистилляция синтетических данных и оптимизация на этапе вывода (inference time optimization). Например, метод выборки лучших из N вариантов (best-of-N sampling) позволяет значительно поднять качество ответов за счет вычислительных мощностей на этапе генерации. Применение этих техник способно сделать модель в 2–6 раз мощнее без изменения объема FLOPS, затраченного на её базовое обучение, что полностью игнорируется текущим законодательством.
Собеседники подробно обсудили знаменитое эссе Рича Саттона «Горький урок» (The Bitter Lesson), утверждавшее, что любые попытки заложить в ИИ человеческие экспертные знания исторически проигрывали простому масштабированию вычислений. Хукер считает это эссе великолепным, но требующим важного уточнения. Масштабирование вычислений действительно эффективно в рамках конкретной неизменной архитектуры (например, трансформеров), поскольку глубокие сети являются «жадными учениками» и счетчиками частот, улучшающими показатели на редких паттернах из «длинного хвоста» данных.
Однако Хукер подчеркивает, что именно алгоритм задает предел насыщения и скорость, с которой вычисления трансформируются в полезные навыки. В качестве примера она привела историю развития технологий:
- Сверточные нейросети (CNN), появившиеся в 2012 году, совершили прорыв в обработке изображений за счет жестких математических допущений (priors) о локальных связях в пикселях.
- Слои максимального пулинга (Max pooling), вызывавшие ворчание Джеффри Хинтона, отбрасывали лишние признаки и обеспечивали масштабируемость.
- Тем не менее архитектура CNN в итоге достигла своей точки насыщения, после чего индустрия была вынуждена массово переключиться на трансформеры.
Таким образом, наши законы масштабирования и способность прогнозировать будущее ограничены рамками текущей узкой архитектурной парадигмы.
🧠 Алгоритмический тупик градиентного спуска 21:35
Обсуждая то, что можно назвать «алгоритмической лотереей», Хукер указала на фундаментальные ограничения современного подхода к обучению машин. Вся индустрия оказалась заперта в рамках градиентной оптимизации, работающей исключительно с дифференцируемыми целевыми функциями. Это заставляет системы выполнять глобальные обновления весов на основе усреднения колоссальных объемов данных. У этого подхода есть два критических изъяна:
- Переобучение под среднее значение: из-за этого нейросетям требуются колоссальные массивы данных и огромное время на то, чтобы усвоить редкие, низкочастотные паттерны.
- Катастрофическое забывание: при подаче новой информации модель обновляет все веса сразу, стирая старую память.
Хукер противопоставляет этому человеческий мозг, обладающий разделением на долговременную и кратковременную память с разной скоростью обучения. Человек способен изолированно хранить воспоминания детства и события сегодняшнего дня, тогда как алгоритмы ИИ из-за отсутствия альтернативных архитектурных решений вынуждены оставаться в рамках неэффективных глобальных градиентных обновлений.
🌐 Языковой разрыв в ИИ и «проклятие многоязычности» 30:29
Важнейшим направлением работы Сары Хукер является исследование проблемы, описанной в её статье «The AI Language Gap». Исторически сложилось так, что ключевые исследовательские хабы ИИ сосредоточены в США, Лондоне и Китае, поэтому создатели моделей переобучили их под свои собственные высокочастотные паттерны — в первую очередь под английский язык. Из 7000 языков, существующих на планете, около 80% вообще не имеют текстового корпуса в вебе, что превращает их интеграцию в ИИ в мультимодальную задачу. Даже среди топ-101 языков мира практически нет моделей, способных адекватно работать с ними.
Статистика интернета резко искажает реальную картину человечества: английский язык является родным лишь для 5% населения Земли, но занимает более 50% всего интернет-пространства. В то же время язык йоруба, на котором говорят 40 миллионов человек, практически не представлен в сети. Ситуация усугубляется наступлением эры синтетических данных:
- Поскольку современные LLM генерируют контент преимущественно на английском и китайском языках, объемы данных на них растут взрывными темпами.
- Это запускает спираль неравенства («богатые богатеют, бедные беднеют»), делая сбор качественных данных для недопредставленных языков еще более трудной задачей.
Существует и выраженное техническое смещение (optimization bias) на уровне токенизаторов. Латинские шрифты обрабатываются эффективно, но когда дело доходит до хинди или корейского языка, токенизаторы работают крайне плохо. Это накладывает на пользователей за пределами англоязычного мира «двойной налог»: для кодирования одного и того же смысла требуется значительно больше токенов, что автоматически увеличивает задержку (latency) и стоимость использования API.
В рамках проекта Aya исследовательская лаборатория Cohere for AI создала модель, поддерживающую 101 язык (включая такие редкие, как валлийский, гаитянский и телугу). Из-за дефицита качественных мультиязычных данных ученым пришлось использовать базовую модель 13B параметров образца 2019 года и компенсировать ограничения за счет экстремальной очистки данных и генерации синтетических инструкций.
🎭 Диалекты, культура и мифы об «эмерджентных свойствах» 36:27
Тим Скарфе сослался на книгу «The Language Game», отметив, что человеческое познание всегда ситуативно и намертво привязано к локальной культуре, что противоречит идее создания единого абстрактного разума. Хукер подтвердила это, поделившись внутренней историей разработки Aya. При оценке качества португальского языка возник жесткий конфликт между аннотаторами: бразильские участники проекта физически численно превосходили коллег из Португалии и постоянно исправляли их тексты под свои языковые нормы, игнорируя нюансы португальского языка Лиссабона или Мозамбика.
Хукер также подвергла критике мифологизацию масштабирования, когда феномен улучшения работы моделей называют «эмерджентными (внезапно возникающими) свойствами». Изначально мультиязычность приводилась в статьях как пример такого чуда, но последующие исследования доказали: эти свойства присутствовали в данных изначально, просто не были должным образом задокументированы. Масштаб — это не магия, а просто постепенное освоение моделью низкочастотных данных из «длинного хвоста» распределения. Создание искусственного мифа о «непостижимых» свойствах масштаба используется лишь для нагнетания общественной тревоги и паники, что Хукер считает в корне неверным фреймингом.
🛡️ Безопасность ИИ против ответственного ИИ: битва за терминологию 33:51
Хукер выразила открытое недовольство тем, как в индустрии произошел контролируемый семантический сдвиг от термина «ответственный ИИ» (Responsible AI) к «безопасности ИИ» (AI Safety). По её мнению, это было сделано намеренно определенными группами из Кремниевой долины, которые хотели дистанцироваться от повседневной этики и сместить фокус на абстрактные экзистенциальные риски (X-risk). Она требует вернуть разговорам точность, поскольку за размытым словом «safety» часто скрывается полное отсутствие подотчетности за конкретные результаты.
Нынешний подход к выравниванию (alignment) моделей страдает избыточным упрощением и сводится к примитивным бинарным отказам (refusals). Модели на всякий случай блокируют любые медицинские вопросы о сексуальном здоровье, хотя статьи на той же Википедии по этой теме абсолютно легальны и полезны. Хукер предлагает:
- Перейти к многокритериальной оптимизации (multi-objective optimization), позволяющей модели удерживать несколько этических и культурных границ одновременно.
- Отказаться от глухих отказов нейросети в пользу предоставления пользователю проверенных ресурсов и ссылок на внешнюю поддержку.
- Дать пользователю инструменты явного управления поведением модели через интерфейс, регулируя баланс между строгой консистентностью и творческим поиском.
Полное искоренение галлюцинаций невозможно и вредно, так как именно этот механизм отвечает за креативность и генерацию нестандартных идей, которые ценят люди.
🏎️ Назад к основам: оптимизация RLHF и преодоление артефактов перевода 58:36
В своей новой работе «Back to Basics» команда Хукер переосмыслила классические методы обучения с подкреплением. Популярный алгоритм PPO (Proximal Policy Optimization) пришел в языковые модели из традиционного робототехнического RL, где ошибки склонны лавинообразно накапливаться в огромных шумных пространствах поиска. Из-за этого PPO чрезвычайно требователен к памяти, заставляя держать в работе до четырех тяжелых моделей одновременно. Однако в LLM после этапа предварительного обучения пространство поиска вариантов следующего токена уже жестко сконцентрировано и предобусловлено. Применение громоздкого PPO в таких условиях было явным избыточным решением (overkill).
Разработчики доказали, что можно убрать большинство компонентов PPO и использовать значительно более легкий онлайн-метод ReLU (вероятно, RLOO), который превосходит по эффективности даже популярный офлайн-метод DPO.
Этот облегченный подход лег в основу исследования «RL Speaks Many Languages», где ученые решали проблему «артефактов перевода». Традиционно при нехватке данных разработчики просто переводят качественные английские датасеты на целевые языки с помощью машинного перевода, из-за чего модели перенимают неестественные конструкции — например, вместо цифр начинают писать слова прописью. Для борьбы с этим команда Сары Хукер применила изящное решение:
- Они сгенерировали синтетические пары ответов с помощью мощной мультиязычной модели Command R+.
- Затем они использовали большую модель в качестве судьи (LLM-as-a-judge), заставляя её сравнивать сухой машинный перевод с живой нативной генерацией.
- Это позволило алгоритмам обучения с подкреплением успешно увести финальную модель от переводческих дефектов к плавной и естественной локальной речи.
