Новая экономика AI: почему корпорации отказываются от «лучших» моделей в пользу эффективности 🚀 0:00
Корпоративный сектор начинает массово менять подход к внедрению искусственного интеллекта, отходя от стратегии использования «самых мощных» моделей для любых задач. Этот сдвиг продиктован растущими счетами: как отмечает ведущая, компании обнаружили, что топовые модели, зачастую избыточные для простых задач, обходятся неоправданно дорого. В индустрии это явление получило название «маршрутизация моделей» (model routing) — подбор подходящей модели под конкретную задачу, что позволяет достичь пяти- или десятикратной экономии затрат без потери качества.
📉 Экономика токенов: проблема роста затрат 23:44
Одной из главных тем дискуссии стала так называемая «токеномика» — стоимость генерации токенов в масштабах предприятия. По оценкам, представленным в ходе обсуждения, один сотрудник может потреблять токенов на $200 в неделю, что при 40-тысячном штате выливается в $400 млн расходов ежегодно.
Основные тезисы участников о затратах:
- Ни одна компания не смогла точно рассчитать бюджет на AI в начале пути, и реальные расходы почти всегда превышают ожидания.
- Бизнесу приходится делать непростой выбор: приоритизировать использование токенов, часто за счет сокращения других статей расходов или изменения кадровой стратегии.
- Агенты, выполняющие работу, оказываются более требовательными к сетевой инфраструктуре: для того же объема работы им требуется на 450% больше пропускной способности сети, чем человеку.
🤖 Агентная маршрутизация как стандарт индустрии 1:10
Скотт Ву, генеральный директор Cognition (создателей агента Devon), объясняет, что эра выбора «одной модели для всего» подходит к концу. Его компания предлагает «гарантию продуктивности»: если AI-решение не приносит реального ROI, компания готова возместить часть затрат. По мнению Ву, эффективность должна измеряться не количеством кликов или строк кода, а реальным инженерным результатом, например, ускорением миграции проектов с 8 месяцев до 8 дней.
Джиту Пател, директор по продуктам Cisco, подтверждает, что в Enterprise-сегменте маршрутизация становится обязательным элементом архитектуры. Даже такие гиганты, как Cisco, вынуждены создавать собственные специализированные модели — от сетевой безопасности до observability (наблюдаемости), так как это дает стратегическое преимущество и позволяет снизить затраты на 95% для определенных задач по сравнению с использованием общих моделей.
🏠 Будущее: десктопные вычисления и локальные модели 34:15
Пател выделяет новый тренд — переход к «десктопным вычислениям» (deskside computing). Вместо отправки каждого запроса в облако, компании все чаще рассматривают возможность запуска моделей локально на мощных рабочих станциях (например, Mac Mini), стоящих прямо на рабочем столе.
- Локальные модели становятся все меньше и эффективнее.
- Ожидается гибридная модель: данные будут обрабатываться на устройствах, на краю сети (edge) и в крупных дата-центрах.
- Несмотря на децентрализацию, общие расходы на инфраструктуру будут расти, так как объем задач увеличивается в геометрической прогрессии согласно парадоксу Джевонса.
