Глава компании Cohere Айдан Гомез в развернутом интервью для канала Machine Learning Street Talk рассказал о кардинальной смене стратегии разработки больших языковых моделей и полном уходе в корпоративный сектор. В центре дискуссии — технологический тупик индустрии, вызванный повсеместным копированием данных OpenAI, механизмы обучения моделей пошаговому рассуждению (reasoning) и жесткая критика паникерских сценариев экзистенциального риска. Анализ диалога показывает, как сфера искусственного интеллекта переходит от этапа зрелищных демонстраций к прагматичному созданию ценности для бизнеса.
🎯 Философия Cohere и преодоление барьеров внедрения ИИ в бизнес 0:00
В отличие от многих игроков на рынке искусственного интеллекта, Cohere изначально отказалась от гонки за созданием сильного ИИ (AGI). По заявлению Айдана Гомеза, истинная цель компании заключается в создании практической ценности для мира через интеграцию технологий в продукты предприятий и расширение возможностей их сотрудников.
Однако на пути внедрения больших языковых моделей (LLM) в реальный бизнес существует серьезная проблема «последней мили». Гомез выделяет несколько ключевых барьеров, с которыми сталкиваются корпорации:
- Законодательные ограничения и требования регуляторов.
- Строгие протоколы безопасности и конфиденциальности данных.
- Банальная нехватка опыта работы с совершенно новыми технологиями у внутренних ИТ-команд.
Чтобы снизить эти барьеры, Cohere активно развивает образовательные инициативы, включая бесплатный курс LLM University для обучения разработчиков. Кроме того, руководство компании напрямую взаимодействует с политиками, пытаясь защитить стартапы от избыточного регулирования, способного затормозить технологический процесс. По мнению Гомеза, текущие инструменты разработки все еще остаются слишком хрупкими: концепция промпт-инжиниринга должна уйти в прошлое, так как зрелая модель обязана надежно понимать общее намерение пользователя независимо от конкретных формулировок.
🔄 Хрупкость промптов и «эффект человеческой многоножки» в обучении ИИ 3:46
В идеальном сценарии слой модели должен быть полностью отделен от прикладного программного обеспечения, чтобы разработчики могли без болезненных поломок заменять одну нейросеть на другую. Однако текущий статус-кво далек от идеала: промпт, отлично работающий в одной системе, может полностью сломаться в другой. Для решения этой проблемы Cohere применяет методы аугментации данных с помощью синтетического ИИ. Специальные алгоритмы проводят автоматический поиск формулировок, которые ломают модель, после чего нейросеть дообучают на этих ошибках для повышения ее устойчивости.
Опасность монопольного распределения данных
Гомез указывает на крайне тревожную тенденцию на рынке ИИ: большинство современных разработчиков обучают свои модели на синтетических данных, полученных из одного источника — моделей GPT от OpenAI. Глава Cohere метафорично называет это «эффектом человеческой многоножки» (human centipede effect), когда системы буквально замыкаются на распределении выходных данных одного лидера.
Последствия монолитного подхода к обучению, по словам спикера, включают в себя:
- Полное стирание индивидуальности моделей и одинаковый стиль общения.
- Массовое копирование одних и тех же специфических речевых паттернов и штампов вроде частого использования слова delve.
- Синхронное повторение одних и тех же технологических недостатков и ошибок вместо формирования разнородной экосистемы.
Поскольку корпоративные клиенты Cohere чрезвычайно чувствительны к происхождению данных, компания агрессивно вычищает из своих датасетов любые выходные данные чужих коммерческих моделей. Гомез утверждает, что именно этот отказ от слепого копирования OpenAI обеспечил линейке моделей Command R и Command R+ особое, «живое» восприятие пользователями в сообществах Reddit и Twitter.
🛠 Смена стратегии Cohere и преодоление технологического застоя 10:20
Айдан Гомез открыто признает, что на протяжении большей части 2023 года Cohere технологически отставала от конкурентов. Этот период лага был осознанным решением: компания полностью перестраивала внутреннюю структуру, команду исследователей и технологическую стратегию. Предыдущий пайплайн разработки исчерпал себя и не подлежал масштабированию.
Выпуск моделей Command R и R+ стал лишь первым шагом в новой серии специализированных релизов, сфокусированных на технологиях RAG (Retrieval-Augmented Generation) и использовании внешних инструментов (tool use).
Почему ИИ-модели не уперлись в потолок возможностей
Собеседники затронули важный вопрос: не наступила ли стагнация общих возможностей LLM? Глава Cohere категорически не согласен с тезисом о насыщении рынка и предлагает свою интерпретацию ситуации:
- Модели стали настолько качественными, что обычному человеку трудно заметить инкрементальные улучшения на бытовом уровне.
- В специализированных областях, таких как медицина, модель уже знает значительно больше среднего человека, поэтому адекватно оценить ее прогресс могут только узкие эксперты.
- Процесс обучения ИИ сейчас напоминает закрашивание холста знаний: крупные мазки сделаны, и теперь пробелы настолько малы, что их можно увидеть только под микроскопом.
Кроме того, последние 12–18 месяцев индустрия занималась не расширением, а компрессией. Созданные ранее гигантские мультитриллионные модели были экономически нецелесообразны для коммерческой эксплуатации — по оценке Гомеза, для их работы требовалось одновременно до 60 графических процессоров A100, что делало продакшн невозможным. Весь прошлый год ушел на сжатие этих огромных артефактов интеллекта в меньшие форм-факторы без потери качества. Впереди, по прогнозам Cohere, ожидается новый виток расширения масштабов моделей, подкрепленный качественными методами автоматического поиска уязвимостей нейросетей.
🧠 Эволюция ИИ: от накопления знаний к полноценному рассуждению (Reasoning) 16:03
В научном сообществе ведется жесткая дискуссия о разнице между эрудицией (объемом знаний) и реальным интеллектом. По мнению Гомеза, способность к рассуждению (reasoning) является фундаментальным элементом интеллекта, и современные LLM действительно способны рассуждать. Это заявление остается спорным, и многие критики считают архитектуру трансформеров непригодной для глубокой логики. Однако Гомез полагает, что рассуждение — это не дискретная функция («есть или нет»), а непрерывный континуум, качество которого постепенно растет от поколения к поколению.
Аналогичным образом Гомез предлагает взглянуть на проблему галлюцинаций. Ранее они воспринимались как экзистенциальная угроза для технологии, ставящая крест на ее надежности. Сегодня же сотни миллионов людей ежедневно используют ИИ в работе и доверяют ему, а проблема галлюцинаций планомерно решается.
Проблема дефицита «внутреннего монолога»
Главная сложность обучения моделей рассуждению, по словам Гомеза, заключается в дефиците качественных данных. Интернет переполнен результатами человеческого мышления, но на нем практически отсутствует фиксация самого процесса — «внутреннего монолога».
Люди обычно не прописывают свой внутренний монолог в интернете, они публикуют только его финальный результат.
Люди не записывают промежуточные шаги, свои ошибки и методы их исправления; обучающие форумы с разбором домашних заданий — лишь «микроскопические уколы» на теле интернета. Cohere видит решение в генерации мультитриллионных синтетических датасетов, которые будут целенаправленно демонстрировать нейросети пошаговый мыслительный процесс, включая осознание ошибок и повторные попытки решения задач.
🧱 Ограничения симуляторов и потенциал архитектуры смеси экспертов (MoE) 21:24
Обсуждая обучение мультимодальных моделей зрению, собеседники сопоставили два подхода: генерацию визуальных данных в игровых движках (например, Unreal Engine) и сбор реальных видеозаписей. Гомез считает использование симуляторов на данном этапе ошибочным путем. По его мнению, игровые физические движки несовершенны, а видео, созданные ИИ вроде Sora от OpenAI, имеют выраженный «игровой» оттенок и эффект «зловещей долины», где камера постоянно находится в неестественном полете. Реальный мир с его безупречной физикой должен оставаться главным источником данных.
В то же время, такие дисциплины как математика и программирование, будучи жестко подчиненными правилам, идеально подходят для стопроцентной синтетической генерации и верификации кода.
Преимущества децентрализованного ИИ (MoE)
Будущее эффективных ИИ-систем Гомез видит в развитии архитектуры смеси экспертов (Mixture of Experts, MoE):
- Один выделенный эксперт внутри MoE, обученный на синтетическом коде и математике, берет на себя функции генерального логического ядра системы.
- Другие специализированные эксперты (например, медицинские) подключаются по мере необходимости.
- Вместо громоздких монолитных моделей бизнес сможет извлекать конкретный субкомпонент (эксперт) и разворачивать его изолированно, экономя колоссальные вычислительные ресурсы.
Ведущий высказал опасение, что распределенные многоагентные системы ИИ, обменивающиеся сообщениями, могут приводить к бесконечным зацикливаниям и неконтролимуемому росту затрат на вычисления, в отличие от стандартных LLM с фиксированным объемом вычислений на токен. Гомез эти опасения отвергает, заявляя, что модели отлично обучаются выдавать стоп-токены и прекращать дискуссию.
В текущей версии многошагового использования инструментов (Multihop tool use), которую Гомез самокритично называет «версией минус один», Cohere принудительно обрывает вычисления после заданного числа неудачных попыток. Система пока плохо распознает и исправляет собственные ошибки, но разработчики намерены сделать этот процесс абсолютно надежным.
📈 Вертикализация продуктов Cohere и борьба с облачной зависимостью 28:15
Айдан Гомез соглашается с расхожим мнением о том, что современные потребительские модели стали слишком похожими и взаимозаменяемыми, превратившись в банальную «игру в токены». По его прогнозу, вскоре произойдет жесткое разделение рынка на потребительский сегмент и специализированный корпоративный (enterprise).
Текущие продукты Cohere (языковые модели, эмбеддинги, модели ранжирования Rerank) представляют собой максимально горизонтальную платформу, способную разворачиваться в любом частном облаке поверх любых данных (юридических, финансовых или медицинских). Однако дальнейшая стратегия компании направлена на вертикализацию — создание моделей, глубоко оптимизированных под специфический инструментарий сотрудников конкретных отраслей.
Ведущий отметил, что гиганты вроде Azure и AWS используют тактику выдачи бесплатных кредитов стартапам, чтобы навсегда привязать клиентов к своей инфраструктуре (vendor lock-in). Защитой Cohere от этой зависимости, по словам Гомеза, является сохранение полной кастомизации платформы: клиент всегда может развернуть ИИ строго в своем закрытом контуре, подтягивая собственные базы данных и кастомные инструменты, не привязываясь к монопольным экосистемам.
🛑 Критика культа экзистенциального риска (X-Risk) и крах института Бострома 33:36
Новость о закрытии Института будущего человечества (FHI) Ника Бострома в Оксфорде вызвала живой отклик у Гомеза. Будучи давним и последовательным критиком концепции экзистенциального риска (X-risk) — идеи о том, что языковые модели захватят мир и уничтожат человечество — Гомез тем не менее сожалеет о закрытии академического института. По его мнению, долгосрочные гипотетические риски — это легитимная зона для академических изысканий, но регуляторам и политикам категорически рано тратить на это ресурсы.
Гомез жестко критикует X-risk организации за агрессивное лоббирование регуляторных актов, угрожающих прогрессу:
- Эти структуры получили избыточное влияние на политическую повестку.
- Продвигаемые ими законопроекты могли преждевременно задушить инновации из-за страха перед сугубо теоретическими угрозами.
- Сейчас в Вашингтоне и Брюсселе происходит здоровое «культурное исправление» (cultural correction), когда законодатели начинают прислушиваться к более широкому кругу практических экспертов.
Крах EA и e-acc: почему идеологические движения вредят ИИ
Собеседники сошлись во мнении, что дискуссия вокруг безопасности ИИ приобрела черты религиозного культа. Гомез считает одинаково отталкивающими оба радикальных лагеря: движение за безопасность ИИ (EA / эффективный альтруизм), превратившееся в изолированную секту со своими дейтинг-приложениями, и ироничное контрдвижение e-acc (эффективный акселерационизм), которое переросло в агрессивный либертарианский радикализм.
Примечательно, что Гомез лично инвестировал в стартап Гийома Вердона (основателя e-acc), назвав его блестящим человеком, однако саму идеологическую войну он считает утомительной и бессмысленной. По мнению спикера, оба движения (EA и e-acc) должны быть окончательно распущены.
🔍 Реальные угрозы: дезинформация, верификация граждан и цифровая грамотность 39:33
Айдан Гомез проводит прямую аналогию между искусственным интеллектом и изобретением центрального процессора или компьютера. По его оценке, те блага, что принесли человечеству компьютер и интернет, померкнут на фоне тотальной демократизации интеллекта, доступного каждому в любой момент времени.
Тем не менее, спикер выделяет реальные, а не вымышленные угрозы технологии. Главной опасностью Гомез считает масштабное распространение дезинформации. В качестве защитного механизма он видит обязательное внедрение систем верификации личности на социальных платформах. Гомез подчеркивает: читая политические посты о канадских выборах, он хочет быть уверен, что за текстом стоит реальный голосующий гражданин Канады, пусть даже имеющий противоположные взгляды, а не бот, запущенный иностранным противником.
К угрозам «интеллектуального вырождения» (enfeeblement) человечества из-за зависимости от ИИ глава Cohere относится скептически. Он напоминает, что аналогичные страхи высказывались при появлении калькуляторов (якобы люди разучатся считать). Гомез заявляет, что человек внутренне любопытен, а чтобы задавать машинам правильные вопросы, необходимо обладать глубокой базой знаний; таким образом, технологии лишь повысят уровень образования общества.
Ведущий упомянул статью покойного философа Дэниела Деннета «Фальшивые люди» (Counterfeit People) в журнале The Atlantic, где высказывалось опасение, что неотличимые от реальности боты уничтожат доверие к любой информации. Гомез возражает, отмечая, что у современного общества уже сформировался мощный внутренний скептицизм (strong prior) к любому контенту. По его мнению, люди адаптируются к ИИ точно так же, как адаптировались к кампаниям манипуляций в докомпьютерную эпоху: через фильтрацию источников и поиск объективных платформ.
⚖️ Отрезвление регуляторов и новая волна ИИ-стартапов 45:42
Непродуманные карательные меры в законодательстве могут уничтожить экосистему инноваций. В качестве примера Гомез приводит гипотетические штрафы в размере 100 миллионов долларов: для перспективного стартапа такая сумма означает мгновенное банкротство, тогда как для технологического гиганта из Кремниевой долины это эквивалентно 10 минутам выручки. Огульное регулирование приведет к прямо противоположному результату — укреплению олигополии.
Гомез отмечает, что европейский AI Act к моменту принятия удалось существенно смягчить по сравнению с первоначальной жесткой редакцией. Законодатели искренне хотят безопасности, но балансируют на тугом канате между давлением лоббистов и защитой конкуренции.
Ситуацию на рынке ИИ-стартапов Гомез описывает как фазу здоровой перегруппировки и очищения (churn):
- Рынок базовых LLM-моделей и первичного инструментария уже сформирован, его ключевые игроки определились.
- Простые компании-«обертки» (wrapper companies), предлагавшие банальный интерфейс поверх чужого API без уникальной технологии, стремительно закрываются или поглощаются.
- Новое поколение стартапов, в которое Гомез активно инвестирует вместе со своим партнером Иваном Чжаном, строится выше по технологическому стеку — это компании, создающие сложные агентские системы и конечные пользовательские продукты.
Если прошлый год был периодом, когда мир только просыпался и знакомился с возможностями генеративного ИИ, то текущий этап станет временем массового вывода систем в промышленную эксплуатацию (продакшн). Cohere, создающая свои решения уже пятый год, долгое время сталкивалась со снисходительным отношением, но сейчас эти многолетние усилия начинают приносить реальные плоды.
🏢 Ошибки управления и уникальная культура локальных офисов Cohere 52:47
Делясь опытом руководства, Айдан Гомез иронично заявляет, что совершал промахи буквально на каждом этапе развития бизнеса. Cohere — его первая компания (как и для сооснователей Ника Фроста и Ивана Чжана), поэтому команда собрала все возможные ошибки новичков. Главным залогом выживания стартапа Гомез называет умение быстро признавать факапы, отсутствие самообмана и готовность слушать более опытных советников.
В вопросах управления Гомез практикует нетипичный подход к корпоративной иерархии:
- Он полностью игнорирует официальную вертикаль власти и цепь командования (chain of command).
- Глава компании общается напрямую с рядовыми инженерами (ICs) и ежедневно засыпает их вопросами о ходе экспериментов.
- Дистанционная работа оценивается Гомезом как крайне неэффективный и тяжелый процесс, поэтому Cohere стремится концентрировать команды в конкретных географических точках. Сам Гомез переехал из Канады в Лондон, чтобы находиться в одном офисе с ключевым ядром своей ML-команды.
На сегодняшний день штат Cohere превысил 350 человек. Спикер признается, что уже перестал узнавать в лицо некоторых сотрудников, что кажется ему странным опытом. Тем не менее, масштабирование не разрушило внутреннюю культуру, хотя в каждом мегаполисе сформировался свой уникальный микрокосм.
Лондонский офис напоминает уютный ламповый стартап на 30 человек, где принято ходить в паб после работы. Офис в Торонто — самый крупный, его отличает страстный трудоголизм инженеров, готовых засиживаться допоздна. Нью-Йорк характеризуется бешеной энергией в стиле «work hard, play hard».
Наименьшую симпатию у Айдана Гомеза вызывает Сан-Франциско, где расположен второй головной офис компании. По его признанию, он считает Сан-Франциско слишком однородным и монокультурным городом. В отличие от настоящих мультикультурных столиц (Лондона, Торонто или Нью-Йорка), где развито искусство и живут люди полярных профессий, в Сан-Франциско все крутится вокруг одной темы — технологий. Гомез ценит Силиконовую долину за соревновательный дух и концентрацию инвесторов, но предпочитает наезжать туда с короткими визитами, категорически отказываясь переезжать на постоянной основе.
