# Уэс Рот о Llama 4: «Почти бесконечный» контекст и война с DeepSeek Источник: https://www.youtube.com/watch?v=jwE6_ujYcPw Канал: Wes Roth Опубликовано: 06.04.2025 --- Марк Цукерберг и компания Meta представили новое поколение своих языковых моделей — Llama 4. Релиз стал ответом на недавний успех китайской модели DeepSeek, который заставил команду Meta перейти в режим «военного положения», чтобы вернуть себе лидерство в сегменте инструментов с открытым исходным кодом. Главной сенсацией анонса стало внедрение «почти бесконечного» контекстного окна, достигающего 10 миллионов токенов. ## 🦙 Новая иерархия моделей Llama 4 [[JUMP:01:31]] Meta представила четыре уровня (тира) моделей, каждый из которых оптимизирован под конкретные задачи. В отличие от предыдущих поколений, здесь впервые массово используется архитектура Mixture of Experts (MoE — смесь экспертов). По словам ведущего Уэса Рота, эта структура напоминает работу крупной компании: если в штате 1000 сотрудников, для решения конкретной задачи в комнату вызывают только 100 профильных специалистов [03:02]. Такой подход позволяет активировать лишь часть параметров при каждом запросе, что делает инференс (выполнение модели) значительно быстрее и дешевле. Линейка включает: * **Llama 4 Scout:** Модель с 17 млрд активных параметров (109 млрд общих) и рекордным контекстным окном в 10 миллионов токенов [01:44]. * **Llama 4 Maverick:** Версия с 128 экспертами и нативной мультимодальностью (пониманием видео и изображений). Контекстное окно здесь составляет 1 миллион токенов [02:11]. * **Llama 4 Behemoth:** Флагманский гигант с 288 млрд активных параметров и более чем 2 триллионами общих параметров [02:36]. * **Llama 4 Reasoning:** Узкоспециализированная модель для сложных логических рассуждений, которая, согласно тизерам на официальном сайте, «появится скоро» [11:39]. ## ♾️ «Бесконечный» контекст и технологический прорыв [[JUMP:01:05]] Самым заметным техническим достижением Meta стало расширение контекстного окна до 10 миллионов токенов в модели Scout [01:05]. Для сравнения: даже мощные современные модели, такие как Gemini 1.5 Pro, предлагают 1–2 миллиона токенов. Марк Цукерберг охарактеризовал это окно как «почти бесконечное» [01:17]. По мнению Уэса Рота, работа с большими окнами контекста меняет само ощущение от использования ИИ — создается впечатление, что у модели «больше пространства для размышлений» [01:17]. Чтобы доказать эффективность такого объема памяти, Meta опубликовала результаты теста «Иголка в стоге сена» (Needle-in-a-Haystack). Результаты показывают: 1. **Текст:** Модель успешно находит конкретные факты в огромных массивах данных [08:50]. 2. **Видео:** Мультимодальные возможности Scout позволяют эффективно анализировать длинные видеозаписи, удерживая контекст происходящего на протяжении всего хронометража [08:50]. ## 🧠 Behemoth как «инопланетная матка» для данных [[JUMP:04:35]] Модель Llama 4 Behemoth позиционируется Meta не просто как самый мощный ИИ в их линейке, но и как «учитель» для более слабых версий. По результатам бенчмарков STEM, эта нейросеть превосходит таких гигантов, как GPT-4.5 и Claude 3.7 [04:35]. Ведущий описывает роль Behemoth через метафору «королевы чужих», которая «откладывает яйца» в виде синтетических данных [04:49]. Этот процесс (дистилляция знаний) позволяет тренировать меньшие модели, такие как Maverick, на высококачественных данных, созданных суперкомпьютером. Такой метод обеспечивает Maverick высокую производительность при значительно меньших затратах на вычислительные мощности [09:30]. ## 🌏 Геополитика кода: Meta против Китая [[JUMP:05:14]] Разработка Llama 4 проходила в условиях жесткой конкуренции с китайскими разработчиками. Ведущий отмечает, что выход DeepSeek заставил Meta создать специальный «штаб» (war room), чтобы удержать статус «короля открытого ПО» [00:12]. В статье упоминается мнение инвестора и предпринимателя Баладжи Сринивасана, который считает, что массовый выпуск качественных открытых моделей из Китая — это стратегия борьбы с доминированием американского Big Tech [05:40]. Наводняя рынок бесплатными и эффективными ИИ-инструментами, Китай подрывает способность американских гигантов (таких как OpenAI или Google) зарабатывать на платных подписках и API. Meta, выпуская Llama 4, вынуждена играть по этим правилам, продвигая открытость как благо для разработчиков и мира [05:14]. ## 🇪🇺 Регуляторный барьер Евросоюза [[JUMP:09:43]] Острой темой обсуждения стал запрет на использование Llama 4 на территории Европейского Союза. Из-за жестких требований законодательства ЕС (AI Act), Meta ограничила доступ к своим новым моделям для граждан и компаний этого региона [10:23]. Основные юридические нюансы: * Компании вне ЕС могут использовать Llama 4 для создания продуктов, которые затем будут продаваться в Европе [10:35]. * Сотрудники зарубежных компаний, физически находящиеся в ЕС, могут работать с моделью в рабочих целях [10:49]. * Личное использование или разработка собственных проектов гражданами ЕС запрещены [11:01]. Уэс Рот подверг резкой критике действия руководства Евросоюза, считая, что стремление стать «первыми в регулировании» привело к тому, что их граждане фактически лишены доступа к ключевой технологии современности [11:27]. По мнению автора, такая политика грозит Европе технологическим отставанием, хотя в последнее время некоторые лидеры ЕС начинают пересматривать свои взгляды [10:09]. ## 📊 Сравнение производительности и стоимости [[JUMP:07:12]] Meta делает ставку на коэффициент «производительность на доллар». По данным, представленным в видео: * Стоимость одного миллиона токенов в Llama 4 значительно ниже, чем у последних моделей GPT [07:26]. * В тестах на понимание изображений (Math Vista, MMU) новые модели Meta показывают результаты лучше, чем Gemini 2.0 Flash и GPT-4o [07:38]. * Однако в кодинге и логике (Live Code Bench) китайская DeepSeek v3.1 всё еще сохраняет небольшое преимущество по некоторым параметрам [07:53]. Несмотря на цифры, Уэс Рот подчеркивает, что реальную ценность моделей определят пользователи в своих специфических сценариях, а не синтетические тесты [08:11].