Mixture-of-Experts
18 статей
47 мин🚀 Google представила Gemma 4: открытые ИИ-модели с лицензией Apache 2.0
2ч 13м🚀 Экономика кремния: как физика памяти ограничивает развитие ИИ
17 мин🛠 DeepSeek V4: конец американского доминирования в ИИ?
1ч 48м🏗 Стэнфорд CME295: Как работают Mixture of Experts и механизмы памяти в LLM
12 мин🧠 OpenAI vs. DeepSeek vs. Qwen: архитектурная битва LLM
14 мин🚀 Уэс Рот: «Qwen 3 — неожиданный прорыв, который обходит o3-mini и Gemini»
1ч 21м🧠 Смесь экспертов: почему архитектура MoE стала стандартом для современных ИИ
19 мин🧠 Computerphile: как DeepSeek разрушает монополию технологических гигантов
19 мин🧠 DeepSeek: конец эпохи монополии в мире ИИ?
1ч 04м🏗 Разреженная смесь экспертов: детальный разбор архитектуры Mixtral 8x7B
26 мин❄ Уэс Рот о Snowflake Arctic: «Это огромная победа для открытого ИИ»
34 мин🤐 Янник Килчер разобрал архитектуру Mixture of Experts от Mistral AI
1ч 23м🌐 Сара Хукер: «Колоссальная часть весов ИИ тратится на компенсацию зашумленных данных»
52 мин🧩 Архитектура Mixture-of-Experts и тренды масштабирования больших моделей от Ирвана Белло
58 мин🧩 Как архитектуры Switch Transformers и GLAM масштабируют ИИ до триллионов параметров
33 мин🚀 Switch Transformer: как Google упаковал триллион параметров в одну нейросеть
1ч 13м🔄 Янник Килчер разобрал архитектуру нейросети GShard на 600 миллиардов параметров
1ч 13м⚙ Янник Килчер: „GShard — это инженерный прорыв в масштабировании моделей“