# Джей Аламмар: «LLM — это новые примитивы для решения задач»

Источник: https://www.youtube.com/watch?v=KMSa5CccEEQ
Канал: Machine Learning Street Talk
Опубликовано: 11.08.2024

---

## 🤖 Искусство инженерии LLM: от визуализации до реальных продуктов

[[JUMP:0:00]]

Современный ландшафт искусственного интеллекта смещается от чисто генеративных задач к созданию надежных, отказоустойчивых систем для бизнеса и энтузиастов. По мнению эксперта по машинному обучению и визуализации Джей Аламмара, ключом к этой трансформации является не только сама архитектура нейросетей, но и грамотное инженерное проектирование пайплайнов. Сегодня успех в индустрии определяется способностью строить системы, которые не просто «фантазируют», а работают с данными точно и предсказуемо.

### 🛠 RAG и архитектуры будущего
[[JUMP:1:43]]

Одной из самых востребованных технологий сегодня остается Retrieval Augmented Generation (RAG) — генерация с дополнением извлеченными данными. Джей Аламмар подчеркивает, что RAG позволяет «заземлить» ответы модели на конкретных источниках, повышая их фактологическую точность.

Основные этапы эволюции таких систем:

*   **Базовый RAG:** Поиск релевантного контекста перед генерацией ответа.
*   **Мультишаговый RAG (Multi-hop):** Модель способна задавать уточняющие вопросы и последовательно искать информацию, пока не найдет верный ответ.
*   **Маршрутизация (Routing):** Интеллектуальный выбор подходящего источника данных в зависимости от типа вопроса пользователя.
*   **Использование инструментов (Tool Use):** Модели не просто читают данные, но и могут выполнять SQL-запросы, искать в Notion или запускать Python-код для глубокого анализа данных.

По мнению Аламмара, использование встроенных инструментов — это «следующая парадигма», которая делает LLM полноценными агентами, способными решать задачи, недоступные для обычного программного обеспечения.

### 📉 Важность «инженерных» примитивов: эмбеддинги и ранжирование
[[JUMP:3:19]]

Джей Аламмар призывает разработчиков не зацикливаться на чат-ботах и рассматривать LLM как набор «примитивов» — фундаментальных инструментов для решения широкого спектра задач.

Ключевые инструменты, которые Аламмар рекомендует внедрять в производство:

*   **Ранжирование (Reranking):** Один из самых быстрых способов повысить эффективность существующей поисковой системы. Достаточно вызвать API для переупорядочивания топ-100 результатов, чтобы драматически улучшить релевантность ответов.
*   **Эмбеддинги (Embeddings):** Фундамент семантического поиска. Аламмар уверен, что каждый разработчик должен освоить создание семантических поисковых систем, так как это дает гораздо более надежный и предсказуемый результат в бизнесе, чем попытки «уговорить» модель сгенерировать идеальный текст.

### 🚀 Профессия AI-инженера
[[JUMP:13:51]]

Индустрия постепенно разделяет роли специалиста по обучению моделей (ML Engineer) и AI-инженера. В то время как первые работают на уровне обучения весов и архитектур, вторые занимаются «склеиванием» API, промпт-инжинирингом и дообучением (fine-tuning) моделей для узкоспециализированных задач.

Аламмар отмечает, что барьер входа для AI-инженеров значительно снизился. Теперь, благодаря доступности коммерческих моделей и облачных сервисов (таких как Cohere, доступных через Amazon Bedrock или собственные виртуальные облака), компании могут создавать сложные системы без содержания огромных штатов ученых-исследователей. При этом он настаивает: использование LLM не отменяет лучшие практики разработки ПО. Юнит-тестирование, проверка регрессий и внедрение «защитных скоб» (guardrails) остаются критически важными элементами надежной архитектуры.

### 🎓 Просвещение и «публичное обучение»
[[JUMP:26:19]]

Значительная часть деятельности Джей Аламмара посвящена образованию. Его знаменитая статья «Иллюстрированный трансформер» стала канонической для миллионов разработчиков. Он объясняет свою мотивацию просто: «Я узнаю гораздо больше, когда пытаюсь объяснить что-то другим». Аламмар советует начинающим специалистам не страдать от «синдрома самозванца» и делиться своими знаниями публично — даже небольшая подборка полезных ссылок или разбор того, что вы изучили за последний месяц, невероятно ценны для сообщества.

Визуализация, по словам Аламмара, — это важнейший канал коммуникации, обладающий огромной «пропускной способностью». Хорошо продуманный концептуальный график может заменить страницы сложного текста, помогая читателю построить интуитивное понимание архитектуры нейросетей.

### 🔭 Взгляд в будущее: что дальше?
[[JUMP:49:17]]

Несмотря на быстрый прогресс, Аламмар считает, что мы находимся лишь в начале пути. Основные изменения в ближайшее время произойдут не столько в архитектуре самих трансформеров (которые остаются весьма стабильными последние 7 лет), сколько в:

1.  **Качестве данных:** Искусство кураторства данных и многоэтапное обучение (языковое моделирование → supervised fine-tuning → RLHF) становятся важнее, чем любые изменения в количестве слоев нейросети.
2.  **Мультимодальности и воплощении:** Интеграция моделей в физические и социальные среды.
3.  **Оптимизации:** Сокращение моделей для работы на мобильных устройствах и «на краю» (edge computing).

В августе 2024 года Джей Аламмар в соавторстве с Мартином Кортенхорстом планирует выпустить книгу «Hands-on Large Language Models» от издательства O'Reilly, в которой подробно систематизирован опыт применения LLM в реальных индустриальных кейсах.