# Йонас Хюботтер: почему будущее ИИ — за адаптацией в реальном времени

Источник: https://www.youtube.com/watch?v=C6sSs6NgANo
Канал: Machine Learning Street Talk
Опубликовано: 30.11.2024

---

## 🧠 Будущее ИИ: адаптация в процессе работы и преодоление ограничений «монолитов»
[[JUMP:0:00]]

В современном ландшафте искусственного интеллекта доминируют огромные параметрические модели, обучаемые на колоссальных массивах данных и «замораживающиеся» после завершения обучения. Однако такой подход имеет фундаментальные ограничения: он не обладает гибкостью и не позволяет системе динамически адаптироваться к новым, специфическим задачам. Исследователь ETH Zurich Йонас Хюботтер в интервью Machine Learning Street Talk обсуждает концепцию адаптации в режиме реального времени (Test-Time Adaptation), которая обещает превратить статичные модели в динамические системы, способные эффективно распределять вычислительные ресурсы.

### 📉 Проблема индуктивного подхода и переход к трансдукции
[[JUMP:26:55]]

Традиционная парадигма глубокого обучения полагается на индуктивный подход: модель обучается один раз, чтобы «понимать всё обо всём». Ведущий и гость отмечают, что такой подход ведет к усреднению знаний и потере точности при решении узких задач.

*   **Индуктивное обучение:** стремление создать единую функцию, описывающую весь набор данных.
*   **Трансдуктивное обучение:** подстройка статистической функции под конкретный входной пример.

Йонас Хюботтер полагает, что будущие системы должны использовать принципы локального обучения. Вместо попыток сжать весь «манифольд данных» (data manifold) в одну модель, ИИ должен уметь «зумироваться» на конкретной задаче, выделяя из памяти наиболее информативные примеры.

### 🛠 SIFT: Автоматизированная выборка данных
[[JUMP:3:21]]

Ключевым препятствием для локального обучения является выбор правильных данных. Обычный поиск ближайших соседей (nearest neighbor search) часто возвращает избыточную или нерелевантную информацию. Метод, предложенный Хюботтером и его коллегами — **SIFT** (Search-based Inference with Fine-Tuning) — решает эту проблему через минимизацию неопределенности.

1.  **Поиск информативности:** SIFT ищет данные, которые не только близки к запросу, но и несут новую информацию (минимизация избыточности).
2.  **Линейные суррогатные модели:** Для оценки того, как конкретный пример повлияет на качество предсказания, SIFT использует простую линейную модель, что делает процесс вычислений «трактуемым» (математически доступным в замкнутой форме).
3.  **Принцип «Google Earth»:** Аналогия с картографическим сервисом идеально описывает метод: модель тратит вычислительные мощности не равномерно, а концентрирует их там, где это необходимо для точности ответа.

### ⚖️ Баланс между вычислениями и неопределенностью
[[JUMP:1:15:27]]

Важнейший вклад работы Хюботтера — связь количества затрачиваемого на этапе инференса (вывода) времени с «эпистемической неопределенностью» модели.

*   **Минимизация дисперсии:** Модель использует байесовский подход для оценки уверенности в своих предсказаниях.
*   **Динамический бюджет:** Если модель уже достаточно уверена в ответе, она останавливает дополнительные вычисления.
*   **Экономия ресурсов:** Это позволяет эффективно использовать «простаивающие» мощности современных компьютеров, например, новых процессоров M4, для дообучения модели прямо в процессе работы над кодом или документом.

### 🔮 Взгляд в будущее
[[JUMP:1:26:03]]

Участники дискуссии сходятся во мнении, что будущее ИИ — за гибридными, «асинхронными» системами, которые больше похожи на биологические организмы, чем на текущие «монолитные» архитектуры.

*   **Turing-полные системы:** Переход от фиксированного количества памяти к неограниченным внешним хранилищам, к которым контроллер ИИ обращается не последовательно, а напрямую через абстракции.
*   **Стирание границ:** Йонас Хюботтер предсказывает, что облачные провайдеры в будущем будут продавать не только доступ к API, но и «переменное количество вычислительных ресурсов» (variable inference time compute), позволяя пользователям самим определять, насколько глубоко модель должна «думать» над конкретной задачей.