Трансформер
76 статей
1ч 19м🤖 Как устроены современные языковые модели: от обучения до системных ограничений
38 мин📉 Филип Изола: «Простые алгоритмы побеждают благодаря масштабированию»
1ч 16м🧩 Как работают трансформеры: От self-attention до BERT и Hugging Face
56 мин📉 Джейкоб из Manifest AI: «Будущее ИИ — это не трансформеры, а Power Retention»
1ч 47м🧭 От BERT до RoPE: Шервин и Афшин об эволюции архитектуры Transformer
1ч 41м🎓 Стэндфордский курс CME295: глубокое погружение в архитектуру Transformer
1ч🏫 Эндрю Ын: «Совет не учиться программированию — это худший карьерный совет в истории»
2ч 49м🚀 Эволюция Transformer: как ускорить инференс и снизить VRAM
58 минГенеративный ИИ в медицине: как работают большие языковые модели
1ч 18м🏗 Стэнфорд запустил курс CS336 по созданию LLM: от байтовых токенов до GPU-ядер
1ч 21м🧠 Смесь экспертов: почему архитектура MoE стала стандартом для современных ИИ
59 мин🧠 Педро Домингос: «Современный успех ИИ — это локальный оптимум, а не финал»
1ч 26мСтэнфорд о создании LLM: «Архитектура и гиперпараметры»
1ч 26м🏗 Как обучают современные модели: архитектурный консенсус
52 мин🧠 От Трансформеров к Jamba: Шохам о будущем корпоративного ИИ и Maestro
14 мин🕹 Microsoft Muse: как генеративный ИИ создает геймплей без программного кода
3ч 31м🧠 Как устроены LLM: от «зип-файла интернета» до рассуждающих моделей
15 мин🧠 Google: «Архитектура Titans копирует человеческую память для прорыва в ИИ»
1ч 12м💥 Юрген Шмидхубер о краже идей, природе сознания и колонизации космоса
33 мин🧠 Экзокортекс в облаке: Андрей Карпати о будущем ИИ
36 мин🚗 Как Waymo обучает беспилотные автомобили с помощью генеративного ИИ
36 мин⚖ Хён Вон Чун о будущем ИИ: «Масштабирование важнее структуры»
36 мин📉 Хён Вон Чон: «Масштабирование — главный драйвер будущего ИИ»
1ч 19м🧠 Как обучить нейросеть за 20 минут без GPU?
1ч 23м🧠 Авторегрессионные модели: от рекуррентных сетей к трансформерам и MLE
1ч 17м🧠 OpenAI в Стэнфорде: почему масштаб важнее архитектуры и как работает «магия» LLM
1ч 19м🔬 Внутри черного ящика ИИ: как методы Bow Lab раскрывают мышление нейросетей
1ч 20м🧬 Натан Ламберт о Mamba: «Это начало эпохи бесконечного контекста»
42 мин🚀 Как превратить нейросеть в читаемую программу: метод Дэна Фридмана
59 мин🤖 Майк Вулдридж: «Языковые модели не понимают смысла создаваемых фраз»
52 мин🚀 Маркус Нагель из Qualcomm о квантовании трансформеров и оптимизации ИИ для мобильных устройств
2ч 30м🌅 За пределами внимания: почему архитектура Mamba станет преемником Transformer
1ч🕰 Майкл Вулдридж: «Нейросети — это прославленный автозаполнитель, а не разум»
59 мин📦 Андрей Карпатый: LLM — это ядро новой операционной системы
1ч 03м🧠 Трей Коллмер о будущем Transformer: токены пауз, аналогический промптинг и Ring Attention
1ч 10м🧠 Джефф Бек: «Байесовский мозг эффективнее градиентного спуска»
28 минRetentive Network: сможет ли линейная архитектура заменить Transformer?
1ч 05м🔄 Роланд Мемошевич: «Будущее ИИ требует возвращения рекурсии и физического заземления»
1ч 33м🚀 Нейтан Лабенц об основах обучения нейросетей и феномене гроккинга
1ч 02м🏗 Янник Кильхер о модели RWKV: «Это, по сути, большая конволюционная сеть»
1ч 01м🏗 Эйдан Гомес о будущем ИИ: «Мы стоим на пороге трансформации продуктов»
24 мин🧐 Как архитектура RMT масштабирует контекст Transformer до миллиона токенов
51 мин🧠 Кэл Ньюпорт: „ChatGPT — это не инопланетный разум“
41 мин⚙ Янник Килчер о LLaMA: «Инженерный триумф, ограниченный лицензией»
1ч 56м📊 Как Андрей Карпатый собрал GPT из 200 строк кода
51 мин🚀 Эйдан Гомес (Cohere): языковые модели как новое программное обеспечение
3ч 28м🧠 Андрей Карпатый: ИИ как инопланетный артефакт и конец биологии
32 мин⛏ Как нейросеть OpenAI научилась крафтить алмазную кирку в Minecraft
50 мин🧠 Ориол Виньялс: «Мы строим инструментарий для будущего ИИ»
51 мин🔍 Янник Кильхер о DSI: как нейросети запоминают документы
45 мин🧠 AlphaCode: как ИИ решает задачи уровня олимпиад
1ч 11м🧩 Стефан Дасколи: «Символьная регрессия откроет роботам законы физики»
31 мин🧠 Янник Килчер о методе ALiBi: «Трансформеры теперь могут работать с текстами в 10 раз длиннее»
35 мин📉 Янник Кильхер проанализировал линейную архитектуру Fastformer
41 минЯнник Кильхер: «Expire-Span учит нейросети правильно забывать»
34 мин📉 FNet: как Google ускоряет sequence-модели без блоков внимания
1ч 40м📉 Марк Саруфим и Мэтью Салварис обсудили кризис стимулов в ИИ
48 мин🛑 Как Nyströmformer решает проблему квадратичной сложности в архитектуре Transformer
1ч 58м🧭 Лена Войта об информационном горлышке и ловушках зондирования трансформеров
40 мин💡 Куок Ле о создании нейросетей и будущем NLP: от кота в Google до генеративных моделей
1ч 13м⚙ Янник Килчер: „GShard — это инженерный прорыв в масштабировании моделей“
31 мин🖼 Янник Кильхер о модели Image GPT от OpenAI: «Генеративное обучение на пикселях»
36 мин🧮 Янник Кильчер: «Языковые модели находят „костыли“ для решения задач высшей математики»
50 мин🧠 Linformer: как аппроксимация матриц низкого ранга ускоряет трансформеры
48 мин🧠 Нужен ли трансформерам Self-Attention? Мнение блогера Янника Кильхера
48 минЯнник Кильхер о Synthesizer: переосмысление внимания в Transformer
31 мин🧠 TAPAS: как нейросети учатся «читать» таблицы без SQL
11 мин🛠 Янник Килчер: «Blender — это инженерное руководство, а не научный прорыв»
1ч 40м🛠 Google T5: новые горизонты обучения нейросетей
26 минLongformer: как эффективно анализировать длинные документы
18 мин🧱 Янник Килчер об Imputer: баланс скорости и точности в распознавании речи
24 мин🧠 Deep Learning в символьной математике: как Facebook AI обошли Mathematica
29 мин🧠 Как уместить 64 000 токенов в одну видеокарту: разбор нейросети Reformer
23 мин🕒 Как параллельное декодирование ускоряет авторегрессионные модели в 7 раз
27 мин🧠 Янник Килчер о GPT-2: «Модель учится задачам без обучения»
27 минЯнник Килхер о «Attention Is All You Need»: революция в NLP