# Атул Део об AWS Bedrock: «ИИ должен решать реальные задачи»

Источник: https://www.youtube.com/watch?v=qdte8GeIAIQ
Канал: Eye on AI
Опубликовано: 06.12.2023

---

## 🚀 Будущее генеративного ИИ в Amazon: Инсайт от Атула Део
[[JUMP:2:38]]

В эпоху стремительного развития технологий искусственного интеллекта Amazon активно трансформирует свой подход к облачным сервисам и корпоративной разработке. Крэйг Смит, автор подкаста «Eye on AI», встретился с Атулом Део, генеральным менеджером AWS Bedrock, на конференции AWS re:Invent в Лас-Вегасе, чтобы обсудить, как компания строит экосистему генеративного ИИ и какие вызовы стоят перед индустрией.

### 🛠 AWS Bedrock: Инструменты и возможности
[[JUMP:13:31]]

AWS Bedrock представляет собой API-сервис, который предоставляет разработчикам доступ к широкому спектру высокопроизводительных базовых моделей (Foundation Models), не требуя при этом глубоких знаний в машинном обучении или управления инфраструктурой.

Ключевые функциональные возможности сервиса:

* **Выбор моделей:** Разработчики могут выбирать между моделями сторонних стартапов и собственными разработками Amazon семейства **Titan**.
* **Кастомизация (Fine-tuning):** Позволяет дообучать модели на размеченных данных конкретной компании для повышения точности.
* **Доменная адаптация (Continued Pre-training):** Позволяет обучать модели на массивах неразмеченных корпоративных документов (миллионы файлов), чтобы «погрузить» ИИ в специфику индустрии и профессиональный жаргон.
* **Агенты (Agents):** Позволяют ИИ не просто отвечать на вопросы, а выполнять многоступенчатые действия (например, вызов API, обращение к базам данных), управляя контекстом сессии без необходимости писать сложный код.
* **Guardrails:** Система контроля, позволяющая устанавливать фильтры на нежелательные темы (насилие, ненависть), цензурировать персональные данные (PII) или блокировать использование конкретных слов.

### 🧠 Борьба с галлюцинациями: Retrieval Augmented Generation (RAG)
[[JUMP:16:38]]

Одной из главных проблем больших языковых моделей является отсутствие понимания контекста конкретной компании и актуальной информации, что приводит к «галлюцинациям». Для решения этой задачи Amazon внедрила в Bedrock технологию **Retrieval Augmented Generation (RAG)**, или «генерацию с дополненным поиском».

Процесс RAG в реализации Amazon выглядит следующим образом:

1.  **Подготовка данных:** Документы из S3 разбиваются на мелкие фрагменты (chunks).
2.  **Векторизация:** Фрагменты пропускаются через модель эмбеддингов, превращаясь в математические векторы, отражающие семантический смысл текста.
3.  **Хранение:** Векторы сохраняются в специализированную базу данных (Vector Database), например, Pinecone, Redis или собственный движок OpenSearch Serverless.
4.  **Поиск и дополнение:** Когда пользователь задает вопрос, система находит наиболее релевантные фрагменты документов, добавляет их в системный промпт (контекст) и только потом отправляет запрос в языковую модель.

По словам Атула Део, компания берет на себя «недифференцированную тяжелую работу»: пользователю достаточно просто загрузить документы в S3, а сервис автоматически настроит процесс векторизации и управления запросами.

### 🖥 Проблема GPU и аппаратные решения
[[JUMP:27:05]]

В индустрии существует острый дефицит вычислительных мощностей, и многие компании сталкиваются с жесткими лимитами на количество запросов в минуту. Атул Део подтверждает наличие проблемы доступности GPU, возникшей из-за резкого спроса на фоне кризиса цепочек поставок.

Однако AWS имеет стратегическое преимущество благодаря многолетним инвестициям в собственные чипы:

* **Trainium:** Специализированный чип, оптимизированный для обучения моделей.
* **Inferentia:** Чип, спроектированный специально для инференса (запуска моделей), что позволяет обходить зависимость исключительно от стандартных графических ускорителей.

Гость подчеркивает, что компания не призывает использовать самые дорогие и ресурсоемкие модели для всех задач. Подход AWS заключается в предоставлении выбора: от маленьких и быстрых моделей (например, Titan Light) до мощных (как Claude от Anthropic) в зависимости от требований к латентности и стоимости.

### 🔮 Будущее: От языковых моделей к пониманию мира
[[JUMP:43:01]]

По мнению Атула Део, мы находимся на ранней стадии глобальной трансформации, сопоставимой с промышленной революцией. Он полагает, что в ближайшие годы ключевым направлением развития станет «закрытие разрыва в последние 2%»: текущие ИИ-системы работают хорошо, но требуют оттачивания для полной надежности.

В перспективе, как отмечает спикер, ИИ перейдет от чисто текстовых моделей к мультимодальным системам, способным обучаться непосредственно на данных из физического мира, подобно тому, как учатся дети — наблюдая за окружающей средой и социальными сигналами, а не просто поглощая гигабайты текста.