# Эйдан Гомес о будущем AI: «Интерфейс будущего — это разговор»

Источник: https://www.youtube.com/watch?v=ooBt_di8DLs
Канал: Machine Learning Street Talk
Опубликовано: 14.11.2022

---

# Эйдан Гомес о будущем AI: Как трансформеры меняют мир программ

[[JUMP:0:00]]

Эйдан Гомес — сооснователь и CEO компании Cohere, а также один из создателей архитектуры Transformer, ставшей фундаментом современной индустрии ИИ. В интервью каналу Machine Learning Street Talk он обсудил историю создания этой технологии, ограничения современных языковых моделей и видение того, как ИИ станет естественным интерфейсом для взаимодействия с человеческими знаниями.

## 🏗️ История создания трансформеров
[[JUMP:4:16]]

Разработка архитектуры Transformer проходила в Google Brain в 2017 году. По словам Эйдана Гомеса, это был «экстремальный спринт» длиной в 12 недель, в ходе которого исследователи работали на пределе возможностей, стремясь создать чисто «внимательную» (attentive) модель.

*   **Технический контекст:** Команда стремилась отказаться от сложности RNN (рекуррентных нейронных сетей) с их громоздкими гейтами и состояниями в пользу MLPs (многослойных перцептронов) и слоев внимания.
*   **Роль Гомеса:** Будучи стажером, он отвечал за программную часть, в частности за создание масштабируемых фреймворков для распределенного обучения на тысячах ускорителей.
*   **Результат:** Разработанная модель показала неожиданно высокую эффективность при простоте архитектуры. Гомес вспоминает, что в момент сдачи статьи на конференцию NeurIPS он и его коллеги не осознавали исторического масштаба своего открытия, воспринимая это как обычную научную работу по повышению метрики BLEU.

## 🧠 Ограничения архитектур и поиск нового
[[JUMP:10:02]]

Обсуждая недавние исследования (например, работу DeepMind о Chomsky hierarchy), ведущий отметил, что трансформеры по своей природе не являются полными по Тьюрингу без внешней памяти, что ограничивает их способность к символьным рассуждениям и работе с бесконечными объектами.

*   **Взгляд Гомеса:** Он признает, что текущая архитектура — не предел, и было бы «очень разочаровывающе», если бы трансформеры стали последним словом техники.
*   **Проблема масштаба:** Гомес подчеркивает, что главным барьером для внедрения инноваций является эффективность: сообщество «законсервировалось» вокруг трансформеров, так как под них создана вся инфраструктура.
*   **Путь вперед:** Для решения проблем ограничения памяти необходимы новые компоненты, такие как адресуемая память (подобно архитектуре Retro от DeepMind) и способность модели поддерживать состояние (state) в долгосрочной перспективе.

## 🚀 Миссия Cohere: ИИ для всех разработчиков
[[JUMP:15:00]]

Цель компании Cohere — сделать использование языковых моделей доступным для любого разработчика, независимо от его специализации, убирая необходимость глубокого погружения в управление GPU и настройку CUDA-ядер.

*   **Продукт:** Cohere создает набор простых API-интерфейсов, которые позволяют интегрировать ИИ в приложения с помощью интуитивных функций, таких как классификация текста.
*   **Философия:** В отличие от «невмешательства» OpenAI, команда Гомеса стремится быть более вовлеченной, ведя диалог с пользователями для формирования дорожной карты, например, разрабатывая специфические функции вроде суммаризации.
*   **Безопасность:** По мнению Гомеса, важно соблюдать баланс: поддерживать творческие, открытые сообщества разработчиков (подобные тем, что сформировались вокруг Stable Diffusion) и при этом модерировать использование сервиса, чтобы предотвратить создание вредоносных ботов.

## 🌐 ИИ как «расширенный разум»
[[JUMP:46:10]]

Гомес развивает концепцию Дэвида Чалмерса об «расширенном разуме» (extended mind), утверждая, что языковые модели становятся для человека новым способом взаимодействия с информацией.

*   **Смена интерфейса:** Язык является гораздо более естественным инструментом для доступа к знаниям, чем классический поиск Google, требующий использования специфических запросов.
*   **Отношение к «статистическим моделям»:** Гомес не согласен с тем, что ИИ и человеческий мозг принципиально отличаются. Он полагает, что они имеют глубокие пересечения, хотя их «целевые функции» различны.
*   **Будущее:** Гомес верит, что ИИ освободит человеческий интеллект от рутинных и утомительных задач, позволяя людям сосредоточиться на творчестве и высокоуровневой деятельности.