В новом выпуске серии AI Factory Insider топ-менеджеры и эксперты NVIDIA обсуждают переход от теоретического строительства ИИ-инфраструктуры к расчету реальной бизнес-эффективности. Вице-президент подразделения AI Factory Каушик Ширхатти, Шрути Копаркар и Ту Тран разбирают концепцию «токеномики» — системы оценки стоимости, качества и возврата инвестиций от каждого сгенерированного ИИ-токена.
🧠 Что такое токен и почему важна токеномика 2:42
По определению Шрути Копаркар, токен — это самая фундаментальная и базовая единица искусственного интеллекта . Она предлагает следующие аналогии для разных типов моделей:
- Текстовые модели: токен представляет собой наборы цифр, которые обычно соответствуют четырем символам текста или, упрощенно, одному слову .
- Генерация изображений: фундаментальной единицей является пиксель, и токен в данном контексте — это набор чисел, представляющий пиксель .
- Биологические модели: токен может представлять молекулярную структуру белков .
Ту Тран вводит термин «токеномика» (tokenomics), который, по его прогнозу, может стать словом года в 2026 году . Это дисциплина, изучающая экономику генерации токенов: их стоимость, спрос и создаваемую ими ценность. Ключевым показателем для бизнеса Тран называет «спред» — разницу между ценностью токена и стоимостью его генерации . Именно этот показатель определяет, будет ли ИИ-проект масштабирован или закрыт после стадии пилота .
📊 Иерархия ценности: не все токены равны 4:58
Шрути Копаркар подчеркивает, что токены не являются однородным товаром. Их ценность определяется тремя факторами :
- Интеллект: зависит от сложности модели, сгенерировавшей токен.
- Контекст: объем данных, которые модель может учитывать одновременно.
- Скорость (интерактивность): темп, с которым токены поступают пользователю.
Эксперты NVIDIA выделяют два подхода к оценке полезности (utility) токенов: абсолютный и относительный . Относительный подход подразумевает сопоставление сложности задачи с качеством токена. Использование «премиальных» токенов для простых задач (например, генерации видео с котиками) Копаркар называет пустой тратой ресурсов, вредной для экономики предприятия .
Ту Тран приводит примеры из разных индустрий, чтобы проиллюстрировать разницу в требованиях к токенам :
- Финансовые рынки (трейдинг): для принятия мгновенных решений важна скорость и минимальная задержка (latency). Сами решения могут быть простыми, поэтому здесь нужны «быстрые» токены .
- Инвестиционные исследования: при подготовке отчета на 10 лет вперед аналитик может ждать час или два. Здесь критически важен интеллект токена, глубокое рассуждение (reasoning) и работа субагентов, проверяющих аргументы .
- Ритейл (видеоаналитика): для систем безопасности важен «однотокенный» ответ (есть кража или нет?) в режиме реального времени . Для создания описаний к рекламным роликам (batch captioning) важен объем и качество, но скорость может быть низкой, так как работа идет в пакетном режиме ночью .
📉 Расчет спроса: «математика на салфетке» и мультипликаторы 10:40
Для оценки необходимого количества токенов Шрути Копаркар предлагает трехуровневый подход :
Уровень 1: Базовая математика
- Количество пользователей.
- Количество сессий на пользователя в день/месяц.
- Количество токенов на один запрос (зависит от сценария: чат требует меньше, агентные системы — больше) .
Уровень 2: Критические мультипликаторы
- Reasoning-модели: генерируют «скрытые» токены размышлений, которые не видит пользователь, но за которые платит инфраструктура .
- Агентные циклы: главный агент порождает субагентов, совершает вызовы инструментов и проходит циклы «планирование — действие», что лавинообразно увеличивает потребление токенов .
- Cache hit rate (процент попадания в кэш): если модель видит знакомый промпт, она может использовать уже обработанные токены . По словам Копаркар, в корпоративном поиске частота совпадений высока (например, вопросы о зарплатных листках или 401k), что снижает потребность в перевычислениях .
Уровень 3: Операционные факторы
- Пики нагрузки утром и затишье ночью.
- Сезонные колебания (например, праздничные распродажи в ритейле) .
⚙️ Сторона предложения: ИИ-фабрика как двигатель автомобиля 16:34
Ту Тран сравнивает ИИ-фабрику с двигателем автомобиля, где на входе — энергия, а на выходе — «лошадиные силы» (пропускная способность токенов в секунду) . Эффективность этого «двигателя» зависит от трех слоев:
- Слой модели: переход от плотных (dense) моделей к архитектуре Mixture of Experts (MoE). В MoE при генерации токена задействуются только релевантные «эксперты», что требует меньше математических вычислений при сохранении высокого интеллекта .
- Слой оборудования (Engine): Тран подчеркивает важность сетевого взаимодействия. В моделях MoE разные эксперты могут находиться на разных GPU, поэтому видеокарты должны постоянно обмениваться данными на огромных скоростях .
- Программный слой: оркестрация и планирование задач для минимизации простоев и максимальной утилизации кластера .
🛠️ Оптимизация и инструменты NVIDIA 20:19
Шрути Копаркар приводит пример из практики телекоммуникационной компании, которая обнаружила, что только 8–16% задач их разработчиков действительно требуют премиальных моделей . Для остальных задач было эффективнее использовать открытые модели с пост-обучением или API более простых моделей .
Для управления этой сложностью NVIDIA предлагает ряд инструментов:
- NeMo Switchyard: интеллектуальный роутер, который направляет запрос к подходящей модели на основе её профиля стоимости и требований задачи .
- NeMo Relay: инструмент для обеспечения наблюдаемости (observability), позволяющий понять, на какие задачи расходуются токены и приносят ли они бизнес-ценность .
- Dynamo: программная система, которую Дженсен Хуанг называет «операционной системой для ИИ-фабрики» . Она отвечает за диспетчеризацию и распределение запросов по GPU.
С точки зрения «железа», NVIDIA предлагает линейку от флагманских систем NVL72 (оптимизированных для MoE) и HGX до серверов RTX PRO для меньших масштабов .
💰 Четыре пути монетизации токенов 24:25
Участники дискуссии выделяют четыре основных способа получения ROI от инвестиций в токены :
- Прямая продажа: модель облачного провайдера, продающего токены рынку.
- AI-native продукты: создание принципиально новых сервисов компаниями нового поколения, где ИИ является ядром .
- Улучшение существующих продуктов: внедрение ИИ-функций в текущие решения для дифференциации на рынке .
- Трансформация внутренних операций: повышение продуктивности сотрудников и оптимизация цепочек поставок. Каушик Ширхатти отмечает, что здесь ИИ позволяет не просто оптимизировать, а полностью переосмыслить бизнес-процессы .
🌊 Барьеры для «цунами токенов» 29:18
На вопрос о том, нужно ли вводить лимиты для предотвращения бесконтрольного потребления токенов («цунами токенов»), Шрути Копаркар отвечает, что огромный спрос — это хорошо, если он сопровождается эквивалентным возвратом инвестиций .
По её мнению, вместо жестких ограничений следует фокусироваться на эффективности:
- Использование моделей вроде Neimotron 3 Ultra, которые требуют меньше токенов и меньше итераций для достижения того же результата .
- Минимизация стоимости одной задачи за счет правильного выбора инфраструктуры и моделей .
В завершение Каушик Ширхатти подчеркивает, что корпоративная ИИ-фабрика не обязательно должна быть гигантским объектом. Она может начинаться с 16 или 32 GPU, позволяя компании «научиться ползать, прежде чем бегать», постепенно масштабируя проекты с доказанным ROI .
