Марк Цукерберг и компания Meta представили новое поколение своих языковых моделей — Llama 4. Релиз стал ответом на недавний успех китайской модели DeepSeek, который заставил команду Meta перейти в режим «военного положения», чтобы вернуть себе лидерство в сегменте инструментов с открытым исходным кодом. Главной сенсацией анонса стало внедрение «почти бесконечного» контекстного окна, достигающего 10 миллионов токенов.
🦙 Новая иерархия моделей Llama 4 1:31
Meta представила четыре уровня (тира) моделей, каждый из которых оптимизирован под конкретные задачи. В отличие от предыдущих поколений, здесь впервые массово используется архитектура Mixture of Experts (MoE — смесь экспертов).
По словам ведущего Уэса Рота, эта структура напоминает работу крупной компании: если в штате 1000 сотрудников, для решения конкретной задачи в комнату вызывают только 100 профильных специалистов . Такой подход позволяет активировать лишь часть параметров при каждом запросе, что делает инференс (выполнение модели) значительно быстрее и дешевле.
Линейка включает:
- Llama 4 Scout: Модель с 17 млрд активных параметров (109 млрд общих) и рекордным контекстным окном в 10 миллионов токенов .
- Llama 4 Maverick: Версия с 128 экспертами и нативной мультимодальностью (пониманием видео и изображений). Контекстное окно здесь составляет 1 миллион токенов .
- Llama 4 Behemoth: Флагманский гигант с 288 млрд активных параметров и более чем 2 триллионами общих параметров .
- Llama 4 Reasoning: Узкоспециализированная модель для сложных логических рассуждений, которая, согласно тизерам на официальном сайте, «появится скоро» .
♾️ «Бесконечный» контекст и технологический прорыв 1:05
Самым заметным техническим достижением Meta стало расширение контекстного окна до 10 миллионов токенов в модели Scout . Для сравнения: даже мощные современные модели, такие как Gemini 1.5 Pro, предлагают 1–2 миллиона токенов.
Марк Цукерберг охарактеризовал это окно как «почти бесконечное» . По мнению Уэса Рота, работа с большими окнами контекста меняет само ощущение от использования ИИ — создается впечатление, что у модели «больше пространства для размышлений» .
Чтобы доказать эффективность такого объема памяти, Meta опубликовала результаты теста «Иголка в стоге сена» (Needle-in-a-Haystack). Результаты показывают:
- Текст: Модель успешно находит конкретные факты в огромных массивах данных .
- Видео: Мультимодальные возможности Scout позволяют эффективно анализировать длинные видеозаписи, удерживая контекст происходящего на протяжении всего хронометража .
🧠 Behemoth как «инопланетная матка» для данных 4:35
Модель Llama 4 Behemoth позиционируется Meta не просто как самый мощный ИИ в их линейке, но и как «учитель» для более слабых версий. По результатам бенчмарков STEM, эта нейросеть превосходит таких гигантов, как GPT-4.5 и Claude 3.7 .
Ведущий описывает роль Behemoth через метафору «королевы чужих», которая «откладывает яйца» в виде синтетических данных . Этот процесс (дистилляция знаний) позволяет тренировать меньшие модели, такие как Maverick, на высококачественных данных, созданных суперкомпьютером. Такой метод обеспечивает Maverick высокую производительность при значительно меньших затратах на вычислительные мощности .
🌏 Геополитика кода: Meta против Китая 5:14
Разработка Llama 4 проходила в условиях жесткой конкуренции с китайскими разработчиками. Ведущий отмечает, что выход DeepSeek заставил Meta создать специальный «штаб» (war room), чтобы удержать статус «короля открытого ПО» .
В статье упоминается мнение инвестора и предпринимателя Баладжи Сринивасана, который считает, что массовый выпуск качественных открытых моделей из Китая — это стратегия борьбы с доминированием американского Big Tech . Наводняя рынок бесплатными и эффективными ИИ-инструментами, Китай подрывает способность американских гигантов (таких как OpenAI или Google) зарабатывать на платных подписках и API. Meta, выпуская Llama 4, вынуждена играть по этим правилам, продвигая открытость как благо для разработчиков и мира .
🇪🇺 Регуляторный барьер Евросоюза 9:43
Острой темой обсуждения стал запрет на использование Llama 4 на территории Европейского Союза. Из-за жестких требований законодательства ЕС (AI Act), Meta ограничила доступ к своим новым моделям для граждан и компаний этого региона .
Основные юридические нюансы:
- Компании вне ЕС могут использовать Llama 4 для создания продуктов, которые затем будут продаваться в Европе .
- Сотрудники зарубежных компаний, физически находящиеся в ЕС, могут работать с моделью в рабочих целях .
- Личное использование или разработка собственных проектов гражданами ЕС запрещены .
Уэс Рот подверг резкой критике действия руководства Евросоюза, считая, что стремление стать «первыми в регулировании» привело к тому, что их граждане фактически лишены доступа к ключевой технологии современности . По мнению автора, такая политика грозит Европе технологическим отставанием, хотя в последнее время некоторые лидеры ЕС начинают пересматривать свои взгляды .
📊 Сравнение производительности и стоимости 7:12
Meta делает ставку на коэффициент «производительность на доллар». По данным, представленным в видео:
- Стоимость одного миллиона токенов в Llama 4 значительно ниже, чем у последних моделей GPT .
- В тестах на понимание изображений (Math Vista, MMU) новые модели Meta показывают результаты лучше, чем Gemini 2.0 Flash и GPT-4o .
- Однако в кодинге и логике (Live Code Bench) китайская DeepSeek v3.1 всё еще сохраняет небольшое преимущество по некоторым параметрам .
Несмотря на цифры, Уэс Рот подчеркивает, что реальную ценность моделей определят пользователи в своих специфических сценариях, а не синтетические тесты .
