Эйден Гомес из Cohere: «На прошлогодние ИИ-модели на рынке нет спроса»

20VC with Harry Stebbings 26,2 тыс. 1 ч 3 мин 5 мин 19.08.2024
Главное

Эйден Гомес — один из соавторов легендарной статьи «Attention Is All You Need», подарившей миру архитектуру трансформеров, на которой базируются ChatGPT и все современные нейросети. Сегодня он возглавляет компанию Cohere, одного из главных конкурентов OpenAI, фокусируясь на создании ИИ для корпоративного сектора . В откровенном интервью Гарри Стеббингсу Гомес объясняет, почему «гонка вооружений» в области вычислительных мощностей — это тупиковый путь, как игры учат предпринимателей выживать и почему «галлюцинации» ИИ на самом деле не являются непреодолимой проблемой.

🎮 От гейминга в глуши до архитектуры трансформеров 0:41

Детство Эйдена Гомеса прошло в сельской местности Онтарио, в доме, который его дед построил вручную . Полное отсутствие скоростного интернета (только медленный dial-up) сформировало у него одержимость технологиями: он пытался понять, как заставить страницы грузиться быстрее, что и привело его в Computer Science .

По мнению Гомеса, увлечение видеоиграми в юности является сильным предиктором успеха для основателей стартапов . Он выделяет несколько ключевых качеств, которые формирует гейминг:

Гомес вспоминает свою работу в Google Brain в 2017 году над статьей о трансформерах как чисто исследовательский проект. В то время он ожидал, что мир осознает значимость языкового моделирования гораздо быстрее, но «момент пробуждения» наступил только с выходом ChatGPT . По его словам, магия случилась, когда технологию поместили непосредственно перед пользователем, избавив его от необходимости объяснять её суть .

🧠 Экономика масштабирования: почему «умный» — не значит эффективный 4:42

В индустрии ИИ существует консенсус: чем больше вычислительных мощностей (compute) и параметров, тем лучше модель. Гомес подтверждает, что это самый предсказуемый и «глупый» способ улучшения систем . Однако он подчеркивает, что этот путь требует экспоненциальных вложений для получения линейного прироста интеллекта .

Ключевые тезисы Гомеса о рынке моделей:

  1. Смерть вчерашних моделей: «На прошлогодние модели нет рынка», — утверждает гость. Технологический прогресс делает предыдущие поколения чипов и алгоритмов бесполезными слишком быстро .
  2. Эрозия маржи: Продажа чистых API-моделей превращается в низкомаржинальный бизнес из-за демпинга цен со стороны крупных игроков (OpenAI, Google) и раздачи бесплатных открытых моделей (Meta) .
  3. Дистилляция: По мнению Гомеса, нормой стал паттерн, когда разработчики прототипируют продукт на огромной дорогой модели, а затем «дистиллируют» эти знания в маленькую, дешевую и специализированную модель .

Гость полагает, что компании, которые только «масштабируют» модели без инноваций в данных, обречены стать «эффективными дочерними предприятиями» своих облачных провайдеров (Microsoft, AWS, Google) .

🛠 Инновации в данных: конец эпохи «интернета на развес» 8:43

Развитие ИИ упирается в дефицит качественных данных. Гомес утверждает, что интернет переполнен «мусором» и повторами, а модели достигли уровня, когда средний прохожий больше не может их ничему научить .

Cohere и другие лидеры рынка переходят к новым стратегиям:

Одной из важнейших технологий Гомес называет RAG (Retrieval-Augmented Generation) . Это метод, при котором модель не просто генерирует ответ из «памяти», а обращается к внешней базе знаний (например, документам компании) и цитирует источники. По его словам, это радикально снижает уровень галлюцинаций, так как у модели появляется «справочный материал» .

💼 Корпоративный ИИ: страхи, бюджеты и агенты 37:46

Если 2023 год был для корпораций годом «пилотов» и экспериментов, то сейчас Гомес наблюдает переход к реальному внедрению в производство (production) . Главным барьером остается доверие: компании боятся, что их интеллектуальная собственность попадет в общие тренировочные сеты .

Cohere решает эту проблему через частные развертывания (VPC), когда модель «приходит к данным», а не наоборот . Гомес отмечает парадокс: финансовый сектор начинает уходить из облаков обратно в собственные дата-центры ради безопасности данных для ИИ, в то время как другие отрасли всё еще стремятся к миграции в облако .

Будущее корпоративного ИИ гость видит в агентах — системах, способных работать автономно на длительных горизонтах (месяцы), выполняя сложные задачи, такие как продажи или поиск кандидатов . При этом он скептически относится к ИИ-обёрткам от гигантов вроде Microsoft Co-pilot, считая, что настоящие помощники должны быть агностиками и работать со всей экосистемой инструментов сразу (Salesforce, SAP, внутреннее ПО), а не только с Office .

🤖 Общество и будущее: заменит ли ИИ людей? 50:00

На опасения Гарри Стеббингса о том, что дети будут общаться с ИИ больше, чем с людьми, Гомес отвечает оптимистично. По его мнению, ИИ может стать «экстраординарно терпеливым, безопасным и эмпатичным учителем», который никогда не сорвется на ребенка .

Основные прогнозы Гомеса по рынку труда:

В завершение беседы Гомес подчеркивает, что главным показателем успеха ИИ станет рост производительности. По его мнению, стагнация ВВП на душу населения ведет к социальным потрясениям, и ИИ — это инструмент, способный «увеличить общий пирог», сделав блага более доступными для всех .

💬 Цитаты

«На прошлогодние модели нет рынка. Любое технологическое развитие делает предыдущее поколение устаревшим мгновенно.»

Эйден Гомес 27:40

«Игры учат resilience — готовности делать повторяющиеся, болезненные вещи ради великой цели.»

Эйден Гомес 02:56

«Вы делаете себя заложником, становясь субсидией своего облачного провайдера.»

Эйден Гомес 08:15
👥 Спикеры
🔗 Упомянутые сайты и проекты
📖 Термины
RAG (Retrieval-Augmented Generation)
Метод, при котором нейросеть ищет информацию во внешних базах данных перед генерацией ответа.
Compute (Вычислительные мощности)
Ресурсы процессоров (GPU/TPU), необходимые для обучения и работы нейросетей.
Synthetic Data
Данные, созданные искусственным интеллектом для обучения других моделей.
Flops
Единица измерения производительности компьютеров, количество операций с плавающей запятой в секунду.
📊 Цифры
🗓 Хронология
  1. 2017 Публикация статьи о трансформерах (Attention Is All You Need).
  2. 2019 Основание компании Cohere.
  3. 2022 Выход ChatGPT, ставший переломным моментом для индустрии.
  4. 2023 Год пилотных проектов и POC в корпоративном секторе.
⚖️ Другая сторона
Искусственный интеллект Aidan Gomez Cohere Transformer architecture LLM RAG