🧠 Будущее ИИ: адаптация в процессе работы и преодоление ограничений «монолитов» 0:00
В современном ландшафте искусственного интеллекта доминируют огромные параметрические модели, обучаемые на колоссальных массивах данных и «замораживающиеся» после завершения обучения. Однако такой подход имеет фундаментальные ограничения: он не обладает гибкостью и не позволяет системе динамически адаптироваться к новым, специфическим задачам. Исследователь ETH Zurich Йонас Хюботтер в интервью Machine Learning Street Talk обсуждает концепцию адаптации в режиме реального времени (Test-Time Adaptation), которая обещает превратить статичные модели в динамические системы, способные эффективно распределять вычислительные ресурсы.
📉 Проблема индуктивного подхода и переход к трансдукции 26:55
Традиционная парадигма глубокого обучения полагается на индуктивный подход: модель обучается один раз, чтобы «понимать всё обо всём». Ведущий и гость отмечают, что такой подход ведет к усреднению знаний и потере точности при решении узких задач.
- Индуктивное обучение: стремление создать единую функцию, описывающую весь набор данных.
- Трансдуктивное обучение: подстройка статистической функции под конкретный входной пример.
Йонас Хюботтер полагает, что будущие системы должны использовать принципы локального обучения. Вместо попыток сжать весь «манифольд данных» (data manifold) в одну модель, ИИ должен уметь «зумироваться» на конкретной задаче, выделяя из памяти наиболее информативные примеры.
🛠 SIFT: Автоматизированная выборка данных 3:21
Ключевым препятствием для локального обучения является выбор правильных данных. Обычный поиск ближайших соседей (nearest neighbor search) часто возвращает избыточную или нерелевантную информацию. Метод, предложенный Хюботтером и его коллегами — SIFT (Search-based Inference with Fine-Tuning) — решает эту проблему через минимизацию неопределенности.
- Поиск информативности: SIFT ищет данные, которые не только близки к запросу, но и несут новую информацию (минимизация избыточности).
- Линейные суррогатные модели: Для оценки того, как конкретный пример повлияет на качество предсказания, SIFT использует простую линейную модель, что делает процесс вычислений «трактуемым» (математически доступным в замкнутой форме).
- Принцип «Google Earth»: Аналогия с картографическим сервисом идеально описывает метод: модель тратит вычислительные мощности не равномерно, а концентрирует их там, где это необходимо для точности ответа.
⚖️ Баланс между вычислениями и неопределенностью 1:15:27
Важнейший вклад работы Хюботтера — связь количества затрачиваемого на этапе инференса (вывода) времени с «эпистемической неопределенностью» модели.
- Минимизация дисперсии: Модель использует байесовский подход для оценки уверенности в своих предсказаниях.
- Динамический бюджет: Если модель уже достаточно уверена в ответе, она останавливает дополнительные вычисления.
- Экономия ресурсов: Это позволяет эффективно использовать «простаивающие» мощности современных компьютеров, например, новых процессоров M4, для дообучения модели прямо в процессе работы над кодом или документом.
🔮 Взгляд в будущее 1:26:03
Участники дискуссии сходятся во мнении, что будущее ИИ — за гибридными, «асинхронными» системами, которые больше похожи на биологические организмы, чем на текущие «монолитные» архитектуры.
- Turing-полные системы: Переход от фиксированного количества памяти к неограниченным внешним хранилищам, к которым контроллер ИИ обращается не последовательно, а напрямую через абстракции.
- Стирание границ: Йонас Хюботтер предсказывает, что облачные провайдеры в будущем будут продавать не только доступ к API, но и «переменное количество вычислительных ресурсов» (variable inference time compute), позволяя пользователям самим определять, насколько глубоко модель должна «думать» над конкретной задачей.
