Иван (Cohere): «Мы строим ИИ как систему, а не просто модель»

Machine Learning Street Talk 11,6 тыс. 47 мин 3 мин 10.10.2024
Главное

Будущее ИИ: Взгляд сооснователя Cohere 0:00

Иван (Ivan), сооснователь компании Cohere, в интервью каналу Machine Learning Street Talk поделился своим видением того, как современные языковые модели трансформируют индустрию. По мнению предпринимателя, сейчас мы находимся в точке, где ИИ становится мощным инструментом для уравнивания возможностей, позволяя людям без глубокой технической подготовки создавать сложные программные системы.

🛠 Роль Cohere и инновации в разработке 0:00

Cohere позиционирует себя как ключевого игрока в канадской экосистеме стартапов, доказывая, что амбициозные проекты можно реализовывать за пределами Кремниевой долины. Иван подчеркивает, что их компания стремится не только спонсировать сообщество, но и предоставлять пространство для живых взаимодействий и обмена знаниями.

С технологической точки зрения, компания сфокусирована на создании моделей, которые эффективно работают в закрытых (air-gapped) средах, обеспечивая приватность и безопасность для крупных предприятий. В отличие от общедоступных систем, здесь акцент сделан на архитектурах RAG (Retrieval-Augmented Generation), где модель использует внутренние базы знаний организации для генерации точных ответов.

🧠 ИИ как «двигатель рассуждений» 7:51

Иван полагает, что в будущем ИИ станет незаметным компонентом продуктов — «двигателем рассуждений» (reasoning engine), который просто делает работу пользователя проще, не требуя понимания того, как именно он функционирует.

💻 Будущее вычислений и обучения 35:46

Несмотря на популярность новых архитектур, трансформеры остаются стандартом индустрии, так как на текущий момент они лучше всего справляются с эффективным обучением на распределенных данных. Однако Иван предвидит изменения в подходе к созданию систем:

  1. Линзирование: Модели станут «стройнее» и специализированнее — вместо гигантских монолитов компании будут выбирать подходящий размер модели под конкретную задачу.
  2. Системный подход: Успех продукта будет зависеть не только от «мозгов» (reasoning engine), но и от качества обвязки: систем поиска, реранкинга (переранжирования результатов) и интерфейсов взаимодействия.
  3. Синтетические данные: Компании активно используют модели для расширения дистрибуций данных, но Иван отмечает: синтетика не заменяет реальные данные, она помогает направлять модель к нужному результату.

🎮 Параллели с видеоиграми и управление талантами 28:20

Иван находит удивительные параллели между работой в ИИ-стартапе и геймингом. Его увлечение играми вроде League of Legends или Elden Ring научило его выдержке при работе с «невозможными» задачами и важности коммуникации.

В качестве совета молодым разработчикам он предлагает полностью принять новую технологию и использовать ИИ-ассистентов как «партнеров» для создания любых проектов — сейчас, по его мнению, лучшее время для начала карьеры.

💬 Цитаты

«Красивые продукты прячут компоненты от пользователя. Ему вообще не нужно о них думать.»

«Мы строим с помощью поведения, а не инструкций.»

«Рассуждение — это когда модель выдает токены, полезные для нахождения решения.»

👥 Спикеры
🔗 Упомянутые сайты и проекты
📖 Термины
RAG (Retrieval-Augmented Generation)
Метод, при котором языковая модель обращается к внешним данным перед генерацией ответа.
Air-gapped
Система, изолированная от интернета для обеспечения максимальной безопасности.
Реранкинг (Reranking)
Процесс пересортировки результатов поиска для улучшения их релевантности для пользователя.
Синтетические данные
Данные, созданные алгоритмами для дообучения моделей, когда реальных данных недостаточно.
📊 Цифры
🗓 Хронология
  1. 20 лет назад Иван иммигрировал в Канаду и поступил в Университет Торонто.
  2. 2019 год Основание компании Cohere после выхода статьи о трансформерах.
⚖️ Другая сторона
Искусственный интеллект Cohere Aidan Gomez RAG Synthetic Data Reasoning Engine