📧 Будущее электронной почты: как Shortwave превращает хаос в базу знаний 0:00
Электронная почта, не менявшаяся десятилетиями, наконец переживает фундаментальную трансформацию. По мнению основателя Shortwave Эндрю Ли, мы переходим от модели «почтового ящика как списка задач» к концепции интеллектуального «второго мозга». В ходе глубокого анализа технологического стека Shortwave, Ли раскрыл секреты того, как его команда использует возможности больших языковых моделей (LLM) для того, чтобы сделать работу с перепиской по-настоящему продуктивной.
🛠 Архитектура «умного» помощника 28:38
В отличие от многих стартапов, которые ограничиваются созданием «тонкой оболочки» над ChatGPT, Shortwave построила сложную инженерную систему, интегрированную с инфраструктурой электронной почты. Главный принцип работы — использование многоступенчатого пайплайна, который в конечном итоге сводит запрос пользователя к одному максимально точному промпту.
Основные этапы обработки запроса:
- Выбор инструмента: На основе контекста (кто пользователь, время, содержимое открытого письма) модель определяет, какой набор инструментов необходим для ответа.
- Переформулирование запроса: Система преобразует контекстно-зависимый вопрос пользователя в независимый, содержащий всю необходимую информацию.
- Извлечение признаков и поиск: Параллельно извлекаются метаданные (лейблы, временные диапазоны, контакты) для поиска по традиционной инфраструктуре (Elasticsearch) и семантического поиска по векторной базе данных (Pinecone).
- Ранжирование (Reranking): Результаты фильтруются через кросс-энкодерную модель, которая определяет релевантность документа конкретному вопросу.
- Генерация ответа: Финальный пакет данных передается в мощную модель (например, GPT-4 Turbo) для формирования ответа с учетом требований к формату (ссылки, rich text, кнопки).
По словам Ли, каждый запрос к AI-ассистенту инициирует серию из примерно 10 вызовов различных моделей. Команда делает ставку на параллелизацию процессов и использование специализированных, более быстрых моделей для промежуточных задач.
🧠 Особенности работы с данными и RAG 17:19
Одной из главных сложностей в разработке Shortwave было создание системы RAG (Retrieval-Augmented Generation), способной обрабатывать миллионы писем.
- Векторизация: Shortwave использует модель
instructor-xl(Hugging Face) для эмбеддингов, так как она предлагает оптимальный баланс между качеством вектора, стоимостью и скоростью. - Выбор базы данных: Команда остановила выбор на Pinecone из-за наличия функции неймспейсинга, что позволяет эффективно управлять данными множества пользователей без потери производительности.
- Оптимизация затрат: Ли отмечает, что в будущем индустрию ждет разделение вычислений и хранилищ, что позволит более гибко настраивать экономику работы с векторными базами.
✍️ Искусство дообучения (Fine-tuning) 41:25
Особое внимание в интервью было уделено функции автодополнения (AI autocomplete). Для её реализации Shortwave использует тонко настроенную (fine-tuned) версию GPT-3.5 Turbo.
- Методика обучения: Команда использует собственные письма, из которых удаляются фрагменты текста. Задача модели — корректно завершить мысль, сохраняя стиль и форматирование.
- Синтез контекста: В процессе автодополнения система динамически подтягивает прошлые ответы пользователя на аналогичные темы, что позволяет модели «копировать» голос автора.
- Урок по Chain of Thought: Обсуждая методы улучшения качества генерации, ведущий Натан Ленц подчеркнул важность обучения модели цепочкам рассуждений (Chain of Thought), что может стать следующим шагом в развитии инструментов Shortwave.
🏢 Корпоративные амбиции и «легенда Google» 1:20:37
Эндрю Ли, будучи выходцем из Google, поделился мнением о том, почему гиганты индустрии медленнее внедряют инновации. По его словам, организационная структура крупных компаний не позволяет быстро «повернуть корабль» ради экспериментальных технологий, если они не являются критически важными для основной бизнес-модели.
В то же время, Shortwave рассматривает свою миссию шире, чем просто «почтовый клиент». Видение компании заключается в создании глобальной базы знаний для команд, где AI-ассистенты смогут взаимодействовать между собой для помощи сотрудникам, сохраняя при этом строгие стандарты конфиденциальности.
