# Ник Фрост из Cohere: почему погоня за AGI мешает созданию полезного искусственного интеллекта

Источник: https://www.youtube.com/watch?v=4JF1V2hzGKE
Канал: Machine Learning Street Talk
Опубликовано: 15.06.2024

---

В эпоху, когда Кремниевая долина одержима идеей создания «цифровых богов», канадский стартап Cohere выбирает путь радикального прагматизма. Сооснователь компании Ник Фрост в беседе с Тимом Скарфом на канале Machine Learning Street Talk объясняет, почему погоня за общим искусственным интеллектом (AGI) может быть ложной целью и как превратить языковые модели в надежные рабочие инструменты для бизнеса уже сегодня.

## 🚀 Философия Cohere: Против «цифровых богов» и за решение реальных задач
[[JUMP:00:00]]

Компания Cohere, штаб-квартира которой находится в Торонто, сознательно дистанцируется от мессианских целей своих конкурентов [03:15]. Пока лидеры индустрии соревнуются в прогнозах о достижении AGI, Ник Фрост заявляет, что его компания не заинтересована в создании сверхразума.

Основные тезисы позиции Ника Фроста относительно AGI:

*   Термин AGI описывает технологию, которая на данный момент просто не существует [04:13].
*   По мнению Фроста, современные архитектуры (в частности, трансформеры) не имеют ничего общего с человеческим разумом и вряд ли приведут к его воссозданию [05:08].
*   Фрост утверждает, что бизнес-модель Cohere строится на том, чтобы заставить технологию выполнять обещания, данные рынку, и решать прикладные задачи предприятий, а не философские дилеммы [03:32].

Говоря об этике и будущем, Фрост признает теоретическую возможность создания цифровой копии человеческого сознания, однако подчеркивает, что это вопрос далекого будущего, не имеющий отношения к текущему управлению бизнесом [05:35].

## 🧬 От лаборатории Джеффа Хинтона до рок-сцены: История Ника Фроста
[[JUMP:01:43]]

Путь Ника Фроста в индустрию ИИ начался в лаборатории «крестного отца» глубокого обучения Джеффа Хинтона в Торонто [02:39]. Именно там, работая в Google Brain в качестве инженера-исследователя, он познакомился с Эйденом Гомесом (будущим сооснователем Cohere и соавтором фундаментальной статьи «Attention Is All You Need») [01:57].

Личные факты о Нике Фросте:

*   Он считает Джеффа Хинтона своим главным наставником, который научил его культуре проведения исследований в области машинного обучения [02:51].
*   Помимо науки, Фрост профессионально занимается музыкой: он вокалист в инди-поп-рок группе «Good Kid» [03:05]. Свой музыкальный стиль он описывает как нечто среднее между The Strokes и Panic! At The Disco.
*   Команда Cohere сформировалась благодаря «счастливой случайности» (серендипности): Фрост, Гомес и Иван Чжан пересеклись в стенах Университета Торонто (U of T) и Google [02:11].

## 🛠️ Command R: Революция в RAG и борьба с «галлюцинациями»
[[JUMP:05:58]]

Недавний релиз моделей Command R и Command R+ стал важным событием для рынка [06:01]. Эти модели специально оптимизированы для технологии RAG (Retrieval Augmented Generation — генерация с дополнением результатами поиска).

Ник Фрост выражает скепсис по отношению к самому термину «галлюцинация» [07:19]. По его мнению, языковые модели по своей природе только и делают, что «галлюцинируют», то есть предсказывают вероятные токены на основе статистических закономерностей. Иногда эти предсказания совпадают с реальностью, а иногда нет.

Подход Cohere к обеспечению достоверности:

1.  **Внешний источник истины:** Модели обучены не полагаться на «внутреннюю память» весов, а искать информацию во внешних документах [07:46].
2.  **Цитирование (Citations):** Ключевой особенностью Command R является способность указывать конкретный документ и фрагмент текста, на основе которого построен ответ [08:24].
3.  **Доверие пользователя:** Фрост утверждает, что наличие ссылок в интерфейсе кардинально повышает уровень доверия разработчиков и конечных бизнес-пользователей к системе [11:02].

Патрик Льюис, работающий в Cohere, является автором оригинальной научной статьи о RAG [00:52]. Использование этой технологии позволяет компаниям «приземлять» модели на свои закрытые внутренние базы данных, избегая утечки знаний в общее облако тренировочных данных [09:41].

## 🐍 Эволюция инструментов: От калькуляторов до Python-интерпретаторов
[[JUMP:12:18]]

Следующим шагом в развитии ИИ Фрост называет использование инструментов (Tool Use) [12:19]. Это позволяет моделям выходить за рамки простого написания текста.

Примеры использования инструментов в экосистеме Cohere:

*   **Математика:** Языковые модели традиционно плохи в вычислениях, потому что пытаются «запомнить» результаты. Cohere дает им доступ к калькулятору [13:10].
*   **Программирование:** Модель может написать код на Python, выполнить его и вернуть результат. Это открывает путь к созданию сложных визуализаций данных [13:37].
*   **Многошаговое выполнение:** Фрост приводит пример запроса: «Создай график высоты пяти самых высоких пирамид» [14:03]. Модель сначала ищет данные в сети, а затем использует Python для построения графика.

По прогнозу Фроста, в будущем язык станет универсальным интерфейсом между человеком и компьютером, где экран может оставаться пустым, пока машина по команде пользователя вызывает нужные API и строит интерфейсы «на лету» [14:30].

## 🤖 Почему «агенты» — это миф, а последовательное моделирование — реальность
[[JUMP:14:44]]

Ведущий Тим Скарф поднимает тему «агентных систем» — программ, обладающих намерениями и целями. Однако Ник Фрост категорически против такой терминологии [17:06].

Фрост утверждает: «Я не люблю приписывать субъектность (agency) последовательным моделям». Его аргументы против концепции ИИ-агентов:

*   **Вероятностная природа:** Модели обучаются предсказывать следующую последовательность вызовов инструментов на основе обучающих данных, а не преследуют собственные цели [17:20].
*   **Отсутствие реального понимания:** Фрост считает, что модель не может «управлять бизнесом», так как количество вариантов развития событий в реальности бесконечно велико (branching factor), а обучающих данных для таких ситуаций не существует [17:47].
*   **Аналогия с авиацией:** ИИ — это «искусственный полет». Самолеты летают быстрее птиц и на большие расстояния, но они не машут крыльями и не могут зависнуть на месте как колибри. Точно так же ИИ полезен, но он функционирует принципиально иначе, чем человеческий мозг [21:41].

## 📊 Кризис бенчмарков: Почему лидерборды больше не имеют значения
[[JUMP:24:52]]

В индустрии назревает кризис систем оценки качества моделей. Популярные тесты вроде MMLU (вопросы с множественным выбором) часто не коррелируют с реальной полезностью модели для бизнеса [26:42].

Проблемы современных метрик:

1.  **Загрязнение данных (Data Contamination):** Модели часто «видят» тестовые вопросы во время обучения, что делает результаты недостоверными [25:07].
2.  **Бесполезность задач:** Ник Фрост иронизирует над тем, что бизнесу не нужны модели, знающие теорию Зигмунда Фрейда; им нужны инструменты для структурирования документов [26:15].
3.  **Хрупкость рейтинга ELO:** Популярный рейтинг Chatbot Arena (LMSYS) сильно зависит от форматирования текста и вежливости модели в начале диалога, что не делает её более эффективной в работе [35:10].

Фрост полагает, что одержимость метриками — это временная фаза [30:00]. Он сравнивает это с историей смартфонов: когда-то все обсуждали бенчмарки процессоров и сенсорных экранов, но как только технология «приземлилась» и стала зрелой, пользователи начали выбирать устройство просто по удобству решения своих задач [31:03].

## 🛠️ Будущее разработки: От сайнс-проектов к инженерному искусству
[[JUMP:37:07]]

Роль специалиста по данным (Data Scientist) трансформируется. Если в 2017 году основной задачей было обучение кастомных нейросетей для узких задач, то сегодня акцент смещается в сторону программной инженерии и LLM Ops [37:32].

Ключевые изменения в рабочем процессе:

*   **Доступность:** Теперь обычный софтверный инженер может создать мощное приложение на базе ИИ без глубоких знаний в математике нейросетей [40:09].
*   **Промпт-инжиниринг против фича-инжиниринга:** Вместо сложной предобработки чисел разработчики «играют с языком», настраивая поведение готовых базовых моделей [40:23].
*   **Open Source подход:** Cohere активно поддерживает открытое сообщество, выпустив инструментарий Cohere Toolkit на GitHub, который позволяет разворачивать чат-интерфейсы с поддержкой RAG и интерпретатором Python в локальной Docker-среде [11:41].

Завершая разговор, Ник Фрост подчеркивает, что главная цель сегодня — сократить «последнюю милю» между впечатляющим демо-роликом и надежным продуктом, который стабильно работает в продакшене [10:35].