Почему будущее ИИ зависит от инференса, а не от обучения 0:00
Индустрия искусственного интеллекта переживает фундаментальный сдвиг. Если последние годы внимание было приковано к масштабному обучению моделей, то сейчас главной ареной конкуренции становится инференс (этап практического использования модели). Мэтт Зейлер, основатель и генеральный директор компании Clarifai, утверждает, что именно способность эффективно, быстро и дешево запускать ИИ-решения будет определять победителей на рынке в ближайшие годы.
🛠 Путь от компьютерного зрения к управлению вычислениями 2:25
История Clarifai началась задолго до бума ChatGPT. Мэтт Зейлер, будучи студентом Джеффри Хинтона в Университете Торонто, еще в 2007 году работал над генерацией реалистичных видео с помощью ИИ. Позже, во время PhD в NYU, работая с Яном Лекуном и Робом Фергусом, он осознал потенциал нейронных сетей для анализа изображений.
- 2013 год: Зейлер основал Clarifai. Через три недели компания заняла первое место в престижном конкурсе ImageNet, обойдя решение, созданное вместе с научным руководителем.
- 2014 год: Компания запустила первые API для инференса, вдохновившись моделью Stripe и Twilio — созданием «движка» для разработчиков, на базе которого можно строить любые продукты.
Сегодня Clarifai остается лидером в области компьютерного зрения, но компания активно переориентируется на оркестрацию ИИ-вычислений. По словам Зейлера, это направление стало логичным продолжением, так как многие компании до сих пор испытывают трудности с запуском больших языковых моделей (LLM).
🚀 Ставка на инференс: быстрее, дешевле, качественнее 18:06
Главный тезис Зейлера заключается в том, что для реального бизнеса важна комбинация «быстрее, дешевле и лучше». Инференс — это критический этап, где модель работает постоянно, и здесь важна повторяемость и надежность.
- Оптимизация кода против «железа»: В то время как многие стартапы фокусируются на создании специализированных ускорителей (как Cerebras или Groq), Clarifai делает ставку на программную оптимизацию. Зейлер отмечает, что знание того, как писать CUDA-ядра (низкоуровневый код для GPU), позволяет достигать колоссального ускорения на существующем оборудовании.
- Результаты тестов: Недавние бенчмарки показали, что оптимизированные решения Clarifai для модели GPT-OSS обеспечивают на 65% меньшую задержку до первого токена и на 40% более быстрое время получения ответа по сравнению с конкурентами.
- Гибкость: В отличие от провайдеров, привязывающих клиентов к своей облачной инфраструктуре, платформа Clarifai позволяет запускать модели как в собственном облаке, так и в AWS, Google, Azure или даже на «железе» клиента в изолированных (air-gapped) сетях.
🤖 Проекты для государства и «агентизация» ИИ 10:07
Одной из самых обсуждаемых страниц в истории Clarifai стало участие в проекте Maven Министерства обороны США. Зейлер вспоминает, что в 2018 году, когда внутри компании возникли споры из-за этичности работы с военными, он провел общее собрание (all-hands), где прямо заявил: использование ИИ для принятия более быстрых и точных решений спасет жизни.
Сегодня дискурс смещается от простого анализа изображений к созданию агентных систем.
- Агенты в фоновом режиме: Зейлер уверен, что будущее — не в чат-окнах, а в ИИ-агентах, которые работают асинхронно в фоновом режиме, помогая разработчикам и аналитикам.
- Контекстное окно: Проблема «забывания» в длинных контекстных окнах остается вызовом. Однако за счет оптимизации алгоритмов обработки внимания (attention) Clarifai удалось увеличить скорость работы с длинным контекстом (более 100 000 токенов) в 5 раз.
🔮 Будущее: край периферии и физический мир 48:46
Мэтт Зейлер прогнозирует, что следующим большим этапом развития ИИ станет физический мир — робототехника. Это неизбежно приведет к перемещению инференса на edge (периферийные устройства).
- Edge в двух смыслах: С одной стороны, это маломощные устройства (как чипы Nvidia Jetson), с другой — локальные дата-центры телеком-операторов, позволяющие снизить задержку до минимума для критических задач, таких как анализ данных в операционных или управление роботами.
- Ожидания: Хотя ИИ-модели становятся всё более умными, Зейлер полагает, что до появления по-настоящему поразительных роботов пройдет еще от 5 до 10 лет, так как основная сложность кроется не в программном обеспечении, а в физических манипуляторах и актуаторах.
