В новом выпуске подкаста The Cognitive Revolution ведущий Нейтан Лабенц (Nathan Labenz) беседует с лидерами компании Intercom — сооснователем и генеральным директором Оуэном Маккейбом (Eoghan McCabe) и вице-президентом по машинному обучению Фергалом Ридом (Fergal Reid). В центре обсуждения — путь создания Fin, одного из самых успешных ИИ-агентов для клиентского сервиса, и трансформация компании из классического SaaS-сервиса в лидера эры прикладного искусственного интеллекта.
🕰️ Истоки: От компьютерных наук 2004-го до GPT-4 4:16
Оуэн Маккейб отмечает, что его путь в ИИ начался задолго до современного хайпа. Он изучал компьютерные науки и специализировался на машинном обучении ещё в 2004 году . Хотя тогдашние технологии не предвещали нынешнего прорыва, это заложило фундамент понимания систем.
Intercom не была новичком в автоматизации: до появления современных LLM компания развивала продукт Resolution Bot. Однако настоящий перелом произошел с получением раннего доступа к GPT-4 за несколько месяцев до его официального релиза .
Ключевые этапы становления Fin:
- Ранний доступ: Команда Intercom была одной из немногих, кто тестировал GPT-4 в закрытом режиме.
- Порог качества: По словам Фергала Рида, именно GPT-4 стал той «мощной бестией», которая наконец позволила достичь человеческого уровня точности в узких задачах .
- Архитектурный вызов: Изначально модель была настолько тяжелой, что ее приходилось запускать на выделенном оборудовании, тщательно выстраивая инфраструктуру вокруг неё.
🛠️ Переломный момент: Почему интеллект — больше не ограничение 11:17
Одним из самых резонансных тезисов Фергала Рида стало утверждение, что для автоматизации клиентского сервиса «интеллект перестал быть бутылочным горлышком» . С момента запуска Fin показатель успешного разрешения тикетов (resolution rate) вырос с 35% до 65% . При этом на долю улучшения самих базовых моделей (от OpenAI или Anthropic) приходится лишь малая часть этого роста.
Аргументы Фергала Рида:
- Насыщение задачи: Клиентский сервис проще, чем математические олимпиады. Уровня GPT-4 уже достаточно для насыщения большинства типичных запросов .
- Эффект «конверта»: Основной прогресс Intercom (рост на 30 процентных пунктов) достигнут за счет «инженерии контекста» — оптимизации RAG (retrieval-augmented generation), ранжирования и промптов .
- Специфические модели: Для многих задач Intercom отказывается от гигантских LLM в пользу собственных разработок. Например, для суммаризации запросов они используют комбинацию собственной модели encoder-decoder и дообученной (fine-tuned) Qwen2 .
По мнению Рида, их собственный кастомный реранкер (модель переранжирования ответов) уже превосходит топовые решения от Cohere, которые компания использовала ранее .
📉 Ошибки и уроки: Ловушка офлайн-тестов и риск 99 центов 10:42
Intercom выработала скептическое отношение к популярным в индустрии методам оценки ИИ. Фергал Рид утверждает, что «офлайн-эвалы» (оценки на заготовленных наборах данных) часто вводят в заблуждение .
Уроки компании по внедрению ИИ:
- Тестирование в «дикой природе»: Реальное общение людей настолько хаотично, что единственный способ проверить модель — это масштабные AB-тесты в продакшене . Intercom считает своим преимуществом возможность видеть изменения эффективности даже в 0,1% на огромной базе клиентов .
- Ценовой риск: Intercom первой внедрила модель оплаты «99 центов за успешное решение» . Оуэн Маккейб признается: на старте это было убыточно. Себестоимость одного ответа составляла около $1,21 .
- Экономика масштаба: Благодаря падению стоимости токенов и оптимизации моделей, сейчас этот продукт имеет стандартную для софта высокую маржинальность . По данным Маккейба, в среднем человеческое решение тикета обходится компаниям в $26 (с учетом зарплат, офисов и бонусов), что делает цену в $0,99 «невероятной сделкой» .
👥 ИИ и рынок труда: Кейс Klarna и реальность 23:50
Обсуждая громкие заголовки о том, что компания Klarna заменила ИИ-агентами 700 сотрудников, Оуэн Маккейб высказал долю скепсиса. По его мнению, это больше похоже на «маркетинговый момент» и «смелую историю», чем на полную реальность .
Позиция руководителей Intercom по поводу сокращений:
- Работа «под водой»: Большинство служб поддержки перегружены на 30% выше своих возможностей. ИИ не увольняет людей, а выводит команды из режима вечного аврала в состояние нормы .
- Смена фокуса: Компании перестают нанимать новых людей, но редко увольняют старых. ИИ «съедает» будущие вакансии .
- Исключение — аутсорс: Единственная сфера, где ИИ вызывает мгновенные сокращения — это BPO (аутсорсинговые колл-центры), от которых клиенты Intercom отказываются сразу после внедрения Fin .
🚀 Текущий этап: От «сервисного агента» к «клиентскому агенту» 1:29:10
Intercom готовится к следующему парадигмальному сдвигу. Оуэн Маккейб считает ошибкой наличие разных ИИ-ботов для продаж, поддержки и онбординга.
Видение будущего:
- Единый агент: По мнению Маккейба, клиенту нужен один «координированный подход». Глупо иметь агента по продажам с одними целями и агента по сервису с другими, если они конфликтуют между собой .
- Эффективность инженеров: Технический директор Intercom Дар Карран (Darragh Curran) поставил цель увеличить продуктивность инженерной команды в 2 раза за счет ИИ-инструментов .
- Агентивность: Fin должен перестать быть просто «вопрос-ответ» ботом. Он движется в сторону выполнения сложных процедур (например, возвратов платежей), где требуется 100% точность, а не просто 99% .
Маккейб подчеркивает: ИИ позволяет реализовать мечту о «высококлассном консьерж-сервисе» для каждого клиента, что раньше было физически и экономически невозможно .
