Эйдан Гомес о будущем AI: Как трансформеры меняют мир программ

0:00

Эйдан Гомес — сооснователь и CEO компании Cohere, а также один из создателей архитектуры Transformer, ставшей фундаментом современной индустрии ИИ. В интервью каналу Machine Learning Street Talk он обсудил историю создания этой технологии, ограничения современных языковых моделей и видение того, как ИИ станет естественным интерфейсом для взаимодействия с человеческими знаниями.

🏗️ История создания трансформеров 4:16

Разработка архитектуры Transformer проходила в Google Brain в 2017 году. По словам Эйдана Гомеса, это был «экстремальный спринт» длиной в 12 недель, в ходе которого исследователи работали на пределе возможностей, стремясь создать чисто «внимательную» (attentive) модель.

• Технический контекст: Команда стремилась отказаться от сложности RNN (рекуррентных нейронных сетей) с их громоздкими гейтами и состояниями в пользу MLPs (многослойных перцептронов) и слоев внимания.
• Роль Гомеса: Будучи стажером, он отвечал за программную часть, в частности за создание масштабируемых фреймворков для распределенного обучения на тысячах ускорителей.
• Результат: Разработанная модель показала неожиданно высокую эффективность при простоте архитектуры. Гомес вспоминает, что в момент сдачи статьи на конференцию NeurIPS он и его коллеги не осознавали исторического масштаба своего открытия, воспринимая это как обычную научную работу по повышению метрики BLEU.

🧠 Ограничения архитектур и поиск нового 10:02

Обсуждая недавние исследования (например, работу DeepMind о Chomsky hierarchy), ведущий отметил, что трансформеры по своей природе не являются полными по Тьюрингу без внешней памяти, что ограничивает их способность к символьным рассуждениям и работе с бесконечными объектами.

• Взгляд Гомеса: Он признает, что текущая архитектура — не предел, и было бы «очень разочаровывающе», если бы трансформеры стали последним словом техники.
• Проблема масштаба: Гомес подчеркивает, что главным барьером для внедрения инноваций является эффективность: сообщество «законсервировалось» вокруг трансформеров, так как под них создана вся инфраструктура.
• Путь вперед: Для решения проблем ограничения памяти необходимы новые компоненты, такие как адресуемая память (подобно архитектуре Retro от DeepMind) и способность модели поддерживать состояние (state) в долгосрочной перспективе.

🚀 Миссия Cohere: ИИ для всех разработчиков 15:00

Цель компании Cohere — сделать использование языковых моделей доступным для любого разработчика, независимо от его специализации, убирая необходимость глубокого погружения в управление GPU и настройку CUDA-ядер.

• Продукт: Cohere создает набор простых API-интерфейсов, которые позволяют интегрировать ИИ в приложения с помощью интуитивных функций, таких как классификация текста.
• Философия: В отличие от «невмешательства» OpenAI, команда Гомеса стремится быть более вовлеченной, ведя диалог с пользователями для формирования дорожной карты, например, разрабатывая специфические функции вроде суммаризации.
• Безопасность: По мнению Гомеса, важно соблюдать баланс: поддерживать творческие, открытые сообщества разработчиков (подобные тем, что сформировались вокруг Stable Diffusion) и при этом модерировать использование сервиса, чтобы предотвратить создание вредоносных ботов.

🌐 ИИ как «расширенный разум» 46:10

Гомес развивает концепцию Дэвида Чалмерса об «расширенном разуме» (extended mind), утверждая, что языковые модели становятся для человека новым способом взаимодействия с информацией.

• Смена интерфейса: Язык является гораздо более естественным инструментом для доступа к знаниям, чем классический поиск Google, требующий использования специфических запросов.
• Отношение к «статистическим моделям»: Гомес не согласен с тем, что ИИ и человеческий мозг принципиально отличаются. Он полагает, что они имеют глубокие пересечения, хотя их «целевые функции» различны.
• Будущее: Гомес верит, что ИИ освободит человеческий интеллект от рутинных и утомительных задач, позволяя людям сосредоточиться на творчестве и высокоуровневой деятельности.