# Как Baseten меняет правила развертывания ИИ: путь от стартапа до «DataDog для нейросетей»

Источник: https://www.youtube.com/watch?v=uRAya65ZMhE
Канал: Eye on AI
Опубликовано: 26.02.2025

---

В современном мире искусственного интеллекта компании часто начинают свой путь с использования API-интерфейсов OpenAI или Anthropic. Однако при масштабировании они неизбежно сталкиваются с ограничениями: высокой стоимостью, отсутствием прозрачности данных и необходимостью развертывания моделей внутри собственного защищенного облака (VPC). Стартап Baseten предлагает решение этой проблемы, предоставляя инфраструктуру для эффективного запуска Open Source моделей.

В этом выпуске подкаста **Eye on AI** **Крейг Смит (Craig Smith)** беседует с **Тушаром Бхардваджем (Tushar Bhardwaj)**, сооснователем и генеральным директором **Baseten**, о том, как компания стала связующим звеном между «железом» и ИИ-приложениями.

## 🏛️ Истоки: 15 лет в машинном обучении и создание Baseten
[[JUMP:00:39]]

**Тушар Бхардвадж** посвятил машинному обучению более 15 лет [00:39]. Его путь начался с изучения электротехники в Университете Южной Калифорнии (USC), после чего он сосредоточился на разработке продуктов в сфере ML и вопросах вывода моделей в реальную эксплуатацию (production).

Основанная пять лет назад в Сан-Франциско и Нью-Йорке, компания **Baseten** возникла из понимания того, что запуск моделей в работу — это сложный процесс, требующий надежности, безопасности и производительности [01:06]. Компания позиционирует себя как инфраструктурного игрока, полностью сосредоточенного на задаче инференса (inference) — исполнения уже обученных моделей.

По словам основателя, инфраструктура ИИ делится на две большие задачи:

*   **Обучение (Training):** Процесс создания модели.
*   **Инференс (Inference):** Работа модели в реальных условиях.

**Baseten** фокусируется исключительно на втором пункте, предоставляя программный слой, который соединяет вычислительные мощности (GPU) с API-интерфейсами моделей [02:27].

## 🛠️ Технологический стек: «Клей» для ИИ-инфраструктуры
[[JUMP:03:06]]

Многие компании пытаются собрать инфраструктуру для ИИ самостоятельно, используя стандартные сервисы от AWS, GCP или Azure. Однако, по мнению **Тушара Бхардваджа**, это часто приводит к «войне» с внутренними инструментами облачных гигантов, которые плохо интегрированы между собой [06:31]. 

**Baseten** предлагает комплексное решение, которое включает:

*   **Управление версиями:** Удобное администрирование различных итераций моделей [04:00].
*   **CI/CD и развертывание:** Инструменты для A/B тестирования, «сине-зеленого» развертывания и плавного вывода моделей в эксплуатацию [04:13].
*   **Обсервабильность (Observability):** Полноценная панель мониторинга для отслеживания качества и скорости работы моделей [04:25].
*   **Оркестрация ресурсов:** Возможность запускать одну модель сразу в нескольких облаках с автоматическим перераспределением нагрузки [04:39].

**Тушар Бхардвадж** приводит аналогию с DataDog: точно так же, как DataDog объединяет разрозненные инструменты мониторинга в один интерфейс, **Baseten** собирает воедино все процессы обслуживания нейросетей [14:14].

## 🚀 Переломный момент: Взрыв Open Source и феномен DeepSeek
[[JUMP:07:51]]

Главным драйвером роста компании стало стремительное развитие моделей с открытым исходным кодом. Если раньше считалось, что только закрытые модели (как у OpenAI) могут быть «фронтирными», то последние два года показали конвергенцию качества Open Source и проприетарных решений [23:31].

В качестве примера **Тушар Бхардвадж** приводит DeepSeek [08:05]. Когда вышла модель DeepSeek-V3 или R1 с 671 миллиардом параметров, многие компании столкнулись с проблемой: как запустить такого «монстра»?

1.  Для этого требуется огромная мощность: минимум 16 видеокарт H100 или 8 H200 [09:38].
2.  Необходимо шардирование (разделение) весов модели между несколькими узлами (multi-node inference) [09:50].
3.  Нужно автоматически масштабировать количество реплик в зависимости от трафика [10:57].

С помощью **Baseten** этот процесс упрощается до написания небольшого Python-файла (около 20 строк кода), после чего инфраструктура разворачивается автоматически [10:16].

## 📉 Экономика и эффективность: Почему SageMaker проигрывает?
[[JUMP:12:46]]

**Крейг Смит** поинтересовался, в чем отличие **Baseten** от Amazon SageMaker [12:31]. **Тушар Бхардвадж** утверждает, что SageMaker создавался в «старом мире» для работы с маленькими моделями, которые легко помещались в память. Современные ИИ-команды часто тратят от 40 до 60 часов на развертывание одной модели в SageMaker, в то время как цель **Baseten** — сократить это время до 10 минут [13:36].

Экономическая выгода достигается тремя путями:

*   **Масштабирование до нуля (Scale to Zero):** В отличие от традиционных облаков, где вы платите за GPU, даже когда трафика нет, **Baseten** позволяет отключать ресурсы в моменты простоя [44:22].
*   **Оптимизация производительности:** Использование техник дистилляции и спекулятивного декодирования (speculative decoding) позволяет моделям работать быстрее и дешевле [19:41].
*   **Коллективные переговоры:** **Baseten** выступает как своего рода «профсоюз стартапов», закупая вычислительные мощности оптом по лучшим ценам и передавая эту выгоду клиентам [19:02].

## 🧠 Философия продукта: Скорость важнее «Open Source ради Open Source»
[[JUMP:14:53]]

Хотя **Baseten** не является полностью открытым проектом, компания использует множество Open Source инструментов. Например, их библиотека для упаковки моделей **Trust** открыта для всех [15:05]. 

**Тушар Бхардвадж** объясняет закрытость основного кода необходимостью двигаться быстро: «Мы строим на плечах гигантов Open Source, но наша цель — дать клиенту возможность выйти на рынок как можно скорее» [15:30]. Если клиент решит уйти от **Baseten**, он может легко портировать свои модели благодаря отсутствию привязки к проприетарным форматам [15:18].

## 🏎️ Отношение к «железу»: Cuda против новых чипов
[[JUMP:26:06]]

Обсуждая конкуренцию на рынке чипов, где такие игроки как Groq, Cerebras и SambaNova предлагают невероятную скорость инференса, **Тушар Бхардвадж** сохраняет прагматизм. **Baseten** является «чип-агностиком», то есть может работать на любом оборудовании, включая TPU от Google или чипы Trainium от AWS [26:34].

Однако на практике работа с любыми чипами, кроме Nvidia, по его словам, остается «болезненной» [27:00]. Технология Cuda от Nvidia — это старый и проверенный стандарт, с которым инженерам проще работать. Основатель отмечает, что новые компании (Groq и др.) быстры, но им еще предстоит доказать свою экономическую устойчивость при масштабном использовании и построить удобный слой абстракции для разработчиков [28:07].

## 📈 Текущий этап и будущее: Агенты и рассуждающие модели
[[JUMP:35:16]]

На текущий момент у **Baseten** тысячи клиентов и десятки тысяч развернутых моделей [36:10]. За последние 18 месяцев выручка и объем использования сервиса выросли в 200 раз [25:02].

**Тушар Бхардвадж** выделяет два ключевых тренда, которые будут определять развитие отрасли в ближайший год:

1.  **Агентирование (Agents):** Приложения-агенты делают сотни последовательных вызовов моделей, что требует экстремально дешевого и быстрого инференса [37:42].
2.  **Рассуждающие модели (Reasoning models):** Модели, которые тратят больше вычислительных мощностей в момент ответа (inference-time compute), также увеличивают спрос на качественную инфраструктуру [38:08].

Гость и ведущий сошлись во мнении, что мы находимся только в самом начале пути. По прогнозу **Тушара Бхардваджа**, через 5-10 лет количество предприятий, использующих ИИ в своих основных рабочих процессах, увеличится в 10-100 раз [41:33].

Для компаний, которые вырастают из простых API и хотят большего контроля, **Тушар Бхардвадж** предлагает концепцию **BYOC (Bring Your Own Cloud)**: программное обеспечение **Baseten** разворачивается поверх облака клиента, обеспечивая безопасность данных и гибкость управления [35:41].