# Эндрю Ли о будущем email: как Shortwave строит AI-почту на базе десяти LLM

Источник: https://www.youtube.com/watch?v=BeoMJB3gpj8
Канал: The Cognitive Revolution
Опубликовано: 08.04.2024

---

## 📧 Будущее электронной почты: как Shortwave превращает хаос в базу знаний
[[JUMP:0:00]]

Электронная почта, не менявшаяся десятилетиями, наконец переживает фундаментальную трансформацию. По мнению основателя Shortwave Эндрю Ли, мы переходим от модели «почтового ящика как списка задач» к концепции интеллектуального «второго мозга». В ходе глубокого анализа технологического стека Shortwave, Ли раскрыл секреты того, как его команда использует возможности больших языковых моделей (LLM) для того, чтобы сделать работу с перепиской по-настоящему продуктивной.

### 🛠 Архитектура «умного» помощника
[[JUMP:28:38]]

В отличие от многих стартапов, которые ограничиваются созданием «тонкой оболочки» над ChatGPT, Shortwave построила сложную инженерную систему, интегрированную с инфраструктурой электронной почты. Главный принцип работы — использование многоступенчатого пайплайна, который в конечном итоге сводит запрос пользователя к одному максимально точному промпту.

Основные этапы обработки запроса:

1.  **Выбор инструмента:** На основе контекста (кто пользователь, время, содержимое открытого письма) модель определяет, какой набор инструментов необходим для ответа.
2.  **Переформулирование запроса:** Система преобразует контекстно-зависимый вопрос пользователя в независимый, содержащий всю необходимую информацию.
3.  **Извлечение признаков и поиск:** Параллельно извлекаются метаданные (лейблы, временные диапазоны, контакты) для поиска по традиционной инфраструктуре (Elasticsearch) и семантического поиска по векторной базе данных (Pinecone).
4.  **Ранжирование (Reranking):** Результаты фильтруются через кросс-энкодерную модель, которая определяет релевантность документа конкретному вопросу.
5.  **Генерация ответа:** Финальный пакет данных передается в мощную модель (например, GPT-4 Turbo) для формирования ответа с учетом требований к формату (ссылки, rich text, кнопки).

По словам Ли, каждый запрос к AI-ассистенту инициирует серию из примерно 10 вызовов различных моделей. Команда делает ставку на параллелизацию процессов и использование специализированных, более быстрых моделей для промежуточных задач.

### 🧠 Особенности работы с данными и RAG
[[JUMP:17:19]]

Одной из главных сложностей в разработке Shortwave было создание системы RAG (Retrieval-Augmented Generation), способной обрабатывать миллионы писем.

* **Векторизация:** Shortwave использует модель `instructor-xl` (Hugging Face) для эмбеддингов, так как она предлагает оптимальный баланс между качеством вектора, стоимостью и скоростью.
* **Выбор базы данных:** Команда остановила выбор на Pinecone из-за наличия функции неймспейсинга, что позволяет эффективно управлять данными множества пользователей без потери производительности.
* **Оптимизация затрат:** Ли отмечает, что в будущем индустрию ждет разделение вычислений и хранилищ, что позволит более гибко настраивать экономику работы с векторными базами.

### ✍️ Искусство дообучения (Fine-tuning)
[[JUMP:41:25]]

Особое внимание в интервью было уделено функции автодополнения (AI autocomplete). Для её реализации Shortwave использует тонко настроенную (fine-tuned) версию GPT-3.5 Turbo.

* **Методика обучения:** Команда использует собственные письма, из которых удаляются фрагменты текста. Задача модели — корректно завершить мысль, сохраняя стиль и форматирование.
* **Синтез контекста:** В процессе автодополнения система динамически подтягивает прошлые ответы пользователя на аналогичные темы, что позволяет модели «копировать» голос автора.
* **Урок по Chain of Thought:** Обсуждая методы улучшения качества генерации, ведущий Натан Ленц подчеркнул важность обучения модели цепочкам рассуждений (Chain of Thought), что может стать следующим шагом в развитии инструментов Shortwave.

### 🏢 Корпоративные амбиции и «легенда Google»
[[JUMP:1:20:37]]

Эндрю Ли, будучи выходцем из Google, поделился мнением о том, почему гиганты индустрии медленнее внедряют инновации. По его словам, организационная структура крупных компаний не позволяет быстро «повернуть корабль» ради экспериментальных технологий, если они не являются критически важными для основной бизнес-модели.

В то же время, Shortwave рассматривает свою миссию шире, чем просто «почтовый клиент». Видение компании заключается в создании глобальной базы знаний для команд, где AI-ассистенты смогут взаимодействовать между собой для помощи сотрудникам, сохраняя при этом строгие стандарты конфиденциальности.