# Сара Хукер: «Вычислительные пороги ИИ — это ошибочная стратегия»

Источник: https://www.youtube.com/watch?v=dBZp47999Ko
Канал: Machine Learning Street Talk
Опубликовано: 18.07.2024

---

## Регулирование ИИ: почему вычислительные пороги — это тупик
[[JUMP:2:18]]

Современные стратегии управления развитием искусственного интеллекта, закрепленные в таких документах, как исполнительный указ правительства США или EU AI Act, опираются на концепцию «вычислительных порогов» (compute thresholds). Суть этой идеи заключается в том, что модели, требующие огромного количества операций с плавающей запятой (FLOPs) при обучении, потенциально несут в себе критические риски, а значит — требуют особого контроля. Однако, как утверждает Сара Хукер, вице-президент по исследованиям Cohere и глава Cohere for AI, попытка свести оценку рисков к одному абсолютному числу FLOPs является фундаментальной ошибкой.

### Почему FLOPs — плохой индикатор опасности
[[JUMP:8:31]]

По мнению Хукер, использование единой метрики FLOPs для оценки риска сопряжено с рядом критических проблем:

*   **Игнорирование жизненного цикла:** Метрика учитывает только этап предварительного обучения (pre-training), игнорируя дальнейшие критически важные стадии: тонкую настройку (fine-tuning), дистилляцию синтетических данных и методы оптимизации времени вывода (inference-time optimization).
*   **Искажения при мульти-язычности:** Попытка обучить модель работать на десятках языков требует больше вычислительных ресурсов из-за необходимости осваивать различные дистрибутивы данных («проклятие мультилингвальности»), что искусственно «штрафует» ответственных разработчиков.
*   **Уязвимость перед манипуляциями:** В соответствии с законом Гудхарта, когда целевой показатель становится мерилом успеха, он перестает быть хорошим показателем. Разработчики могут легко сократить количество FLOPs, сохранив высокую производительность модели, что позволяет обходить регуляторные ограничения.

### «Горький урок» и проблема предсказаний
[[JUMP:16:41]]

Дискуссия затрагивает эссе Рича Саттона «Горький урок» (The Bitter Lesson), где утверждается, что общие алгоритмы, опирающиеся на вычислительную мощность, в конечном итоге превосходят любые попытки внедрения рукотворных знаний. Ведущий подкаста и Сара Хукер сходятся во мнении: хотя для моделей с текущей архитектурой (Transformers) масштаб действительно имеет значение, проблема в том, что сообщество исследователей слишком сильно «заблокировано» в рамках одной парадигмы.

По словам Хукер, текущие глубокие нейронные сети крайне неэффективны — они вынуждены «прожевывать» огромные объемы данных, чтобы выучить редкие паттерны, часто запоминая то, что нам в итоге не нужно. В результате, вместо обучения интеллектуальной системе приходится заниматься «разучиванием» (unlearning) и фильтрацией данных, чтобы направить модель в нужное русло.

### Альтернатива: активная наследственность и многоцелевая оптимизация
[[JUMP:41:45]]

Для решения проблем, связанных с «длинным хвостом» (редкими, но важными данными, которые современные модели часто игнорируют), Хукер предлагает концепцию **активной наследственности** (active inheritance). Вместо слепого доверия к одному «учителю» (модели), предлагается:

1.  Выборка данных из различных моделей, ориентированных на разные части задачи.
2.  Использование недифференцируемых целевых показателей (например, уровень сложности текста или педагогическая ценность), которые ранее были недоступны для градиентного спуска.
3.  Отказ от модели «единого порога риска» в пользу систем многоцелевой оптимизации, способных учитывать как глобальные нормы безопасности, так и культурную специфику регионов.

Хукер подчеркивает, что вместо стратегии отказа (refusal), когда модель просто «молчит» в ответ на спорный вопрос, индустрии следует двигаться в сторону предоставления ресурсов и контекстуально обоснованных ответов. Она заключает, что будущее ИИ-безопасности лежит в создании более гибких и прозрачных систем, а не в искусственном ограничении вычислительной мощности.