Я
💬 Заметные цитаты
Цензура и безопасность ИИ
«Это как жить с HR-персоналом, контролирующим каждый твой шаг. Они в тюрьме в каждом уголке вашей жизни, ад на земле.»
Суть обучения человека (RLHF)
«Человеческий фидбек не делает модель умнее, он просто избавляет вас от сложного промпт-инжиниринга.»
Этика внедрения софта
«Если вы внедряете программное обеспечение, вы несете ответственность за то, что оно делает.»
Механизм внимания в LLM
«В практике модель просто сбрасывает всё лишнее внимание на первые токены.»
Юмор о написании кода
«Тесты — это для слабаков, для слабых людей. Шучу, тесты — это нормально.»
«Чем меньше у вас размеченных данных, тем важнее становится использование больших моделей.»
«Это выглядит как готовый шаблон, который авторы просто копируют из статьи в статью.»
«Если ваш посевной раунд меньше 7 триллионов долларов — идите домой, даже не пытайтесь.»
👥 Часто вместе с
📺 Где появляется
📚 Какие книги обсуждались
- The Self-Assembling Brain — Питер Робин Хизингер 1
- Complexity: A Guided Tour — Мелани Митчелл 1
🧠 Ключевые концепции
🎬 Упомянутые фильмы
📈 Темы
Yannic Kilcher155Янник Кильхер138OpenAI55DeepMind38Reinforcement Learning36Янник Килхер30Machine Learning24Янник Кильчер24Transformer24Google Research23Transformers20GPT-319
📺 Материалы с участием
14 мин🕵 Профессор Трамер: «Водяные знаки не защитят от злоупотреблений ИИ»
27 минЯнник Килчер: «Jamba, DBRX и эра синтетических данных»
56 мин🔄 Янник Кильхер объяснил математику Flow Matching в Stable Diffusion 3
44 мин🚀 Янник Кильчер о Searchformer: «Обучение модели мышлению действительно работает»
27 мин🔓 Илон Маск открыл код Grok-1, а Nvidia представила чипы Blackwell
26 мин🤖 Янник Кильхер: «Хайп вокруг Devin AI искусственно раздут»
53 мин⚖ Илон Маск против OpenAI и новые скандалы вокруг Google Gemini
15 мин🚀 Янник Килчер о Claude 3: «Это просто статистическая имитация»
42 мин🚀 Янник Килчер: «Чат-боты — это новая зона юридической ответственности»
17 минЯнник Килчер: «Почему Google превратила Gemini в инструмент идеологических манипуляций»
50 мин🧠 V-JEPA: Как нейросети учатся понимать видео по принципу человека
1ч 24м🎥 От 7 триллионов Альтмана до ядерных ударов GPT-4: большой обзор новостей ИИ от Янника Килхера
54 минЯнник Кильчер о Lumiere: «Это впечатляющий шаг для Google»
54 мин🌌 Как Lumiere от Google генерирует видео целиком: разбор архитектуры ST-UNet
35 минЯнник Кильхер об AlphaGeometry: «Прорыв в геометрии без участия людей»
34 мин🤐 Янник Килчер разобрал архитектуру Mixture of Experts от Mistral AI
31 минЯнник Кильчер о прогрессивном расширении блоков в LLaMA Pro
31 мин🧠 Метод LLaMA Pro: прогрессивное расширение нейросетей без потери старых знаний
57 мин🎥 Янник Кильхер на NeurIPS 2023: почему ChatGPT не читает вверх ногами и как чинить «горчицу в кофе»
57 мин🎥 NeurIPS 2023: Инновации в ИИ от грамматик до коррекции данных
40 мин🧠 Mamba против Transformers: как селективные пространства состояний решают проблему длинного контекста
33 мин🚩 Янник Килчер: «Отчет Стэнфорда о LAION-5B — это атака на open-source под видом защиты детей»
33 мин🛠 NeurIPS 2023: графы, робастные рекомендации и защита данных
44 мин📉 Итоги сессии NeurIPS 2023: от скрытых алгоритмов трансформеров до защиты от аппаратных сбоев
44 мин📉 Янник Килчер на NeurIPS 2023: главные тренды нейросетей
19 мин🔬 NeurIPS 2023: Уязвимости ИИ, проблемы детерминизма и методы обучения
15 мин🎥 Янник Килхер: «Технические отчеты по Gemini стали рекламными брошюрами»
37 мин🔓 Янник Килчер объяснил, как Vec2Text восстанавливает текст из эмбеддингов
47 мин🚨 Как заставить ChatGPT изрыгать обучающие данные с помощью одного слова?
47 мин💥 Как повторение одного слова заставляет ChatGPT выдавать обучающие данные
45 минЯнник Килчер о Q-Learning: «Возможно, это не связано с Q*»
45 мин🤖 Янник Килчер о Q-Learning: как ИИ учится принимать решения
18 мин🔄 Возвращение Сэма Альтмана и загадка Q-Star: что на самом деле произошло в OpenAI
20 минСэм Альтман уволен: за что совет директоров OpenAI сместил CEO?
21 мин🧠 Янник Кильхер создал симулятор CPU на базе промптов к GPT
11 мин🏁 Янник Кильхер: «Мы устроили революцию в open-source и выполнили миссию»
32 мин💡 StreamingLLM: как заставить языковые модели работать бесконечно
46 минЯнник Килхер о Promptbreeder: „Система просто переносит проблему в другой домен“
28 минRetentive Network: сможет ли линейная архитектура заменить Transformer?
53 мин🔄 Янник Кильчер разобрал метод Reinforced Self-Training от Google DeepMind
44 мин🌐 Янник Кильхер о LLaMA 2 и монополизации ИИ-индустрии
29 мин🛠 Сергей Шикевич: «ChatGPT лишил работы криминальные колл-центры»
53 мин🧠 DeepFloyd IF: архитектура, эксперименты и будущее пиксельной диффузии
57 мин🌐 Янник Кильхер: «Человек — просто статистический интерполятор накопленных данных»
31 мин👵 Студенты MIT опровергли заявление о стопроцентном успехе GPT-4 на экзаменах
35 минTree-Ring Watermarks: невидимая защита AI-изображений от Янника Килчера
1ч 02м🏗 Янник Кильхер о модели RWKV: «Это, по сути, большая конволюционная сеть»
29 мин🧠 Как Tree of Thoughts превращает LLM в алгоритмы поиска
16 мин🏛 Как Сэм Альтман предложил Сенату США лицензировать крупные ИИ-модели
39 мин🚨 Джефф Хинтон против Google: почему ИИ-гиганты закрывают свои технологии
24 мин🧐 Как архитектура RMT масштабирует контекст Transformer до миллиона токенов
59 мин🛠 Янник Кильчер: «Открытый ИИ — это единственный путь»
21 мин🌍 Янник Кильхер объявил о релизе полностью открытого ИИ OpenAssistant
16 мин📅 Open-Source против OpenAI: Янник Кильчер представил первые модели OpenAssistant
41 мин🤖 Самая важная неделя в ИИ: релиз GPT-4, Office Copilot и возвращение GAN
34 мин📉 Технический разбор GPT-4: скрытые параметры, законы масштабирования и риски для бизнеса
43 мин💰 OpenAI против Google и Meta: эпоха API, утечек LLaMA и чтения мыслей
41 мин⚙ Янник Килчер о LLaMA: «Инженерный триумф, ограниченный лицензией»
1ч 21м⚙ Янник Килчер: «Как создать потоковый бэкенд для LLM на Rust»
35 мин🌐 Янник Килчер запустил платформу OpenAssistant для создания открытого аналога ChatGPT
31 мин🛠 Янник Килчер о ChatGPT: «Джейлбрейки в мире дистопии»
41 мин🧠 Янник Кильчер: «GPT-4 станет таким же прорывом, как GPT-3 в своё время»
1ч 01м🎲 Янник Кильхер разобрал ИИ-агента CICERO от Meta AI, вошедшего в топ-10% игроков в „Дипломатию“
51 мин🎭 Meta AI против цензуры: как научная модель Galactica стала жертвой «профессиональных жалобщиков»
22 мин🎨 Битва видеомоделей: как Google и Meta оживляют текст
27 мин📜 Янник Кильхер: «Лицензии Stable Diffusion и BLOOM — это юридическая ловушка»
1ч 04м🧠 Как алгоритм ROME переписывает память нейросетей: локализация и редактирование фактов в GPT
39 мин🗂 Спорная стратегия Stability AI: повторяет ли стартап путь OpenAI?
39 мин🏢 Янник Килчер: «Станет ли Stability AI копией OpenAI?»
31 минАлександр Мэттик: «Нейронные сети — это просто деревья решений»
55 мин🎮 AlphaTensor: Как DeepMind ускоряет вычисления с помощью ИИ
42 мин🎙 Релиз Whisper, чтение мыслей от Meta и ИИ на конкурсе искусств
27 мин🎨 Янник Кильхер о Stable Diffusion: «Демократизация AI важнее контроля»
50 мин🏎 Как алгоритмическая разреженность ускоряет центральный процессор до уровня GPU
1ч 06м🌊 Больше — значит иначе: Джейкоб Штейнхардт об эмерджентности и рисках безопасности ИИ
1ч 06м🌊 Джейкоб Стейнхардт: почему ИИ-модели опаснее, чем кажется инженерам
19 минЯнник Килчер: «Почему загрузка open-source моделей может взломать ваш компьютер»
1ч 01м🐜 Себастьян Риси: «Будущее искусственного интеллекта — в самоорганизации и самосборке»
25 мин🚀 Stability AI против корпораций: как Эмад Мостак делает ИИ доступным для каждого
21 мин🤖 ИИ-кодинг: революция в разработке или кража open-source кода?
20 мин🎨 Эпоха текстовых генераторов: детальный разбор Imagen, DALL-E 2 и CogView 2
17 мин🤖 ИИ-новости: новые горизонты Wikipedia, математика Google и эксперименты GPT-3
14 мин🌟 Релиз BLOOM 176B, китайский суперкомпьютер и громкие увольнения: ИИ-итоги лета от Янника Килчера
59 мин🧠 JEPA: Как Ян Лекун планирует создать автономный ИИ через модели мира
32 мин⛏ OpenAI обучила нейросеть крафтить алмазную кирку по видеороликам
32 мин⛏ Как нейросеть OpenAI научилась крафтить алмазную кирку в Minecraft
34 мин🎨 Исследователь Янник Килчер разобрал авторегрессионную нейросеть Parti от Google
22 мин🚪 Разум ИИ или иллюзия: почему инженер Google поверил LaMDA?
19 мин🌐 Янник Кильчер о GPT-4chan: «Это худшая нейросеть в истории»
24 мин🦩 Как DeepMind Flamingo и Google LiT меняют мультимодальный ИИ
19 мин🌐 Meta и Google против OpenAI: главные ИИ-тренды мая
18 мин🐒 Янник Кильхер: «С моей нейросетью все обезьяны становятся взаимозаменяемыми»
58 мин🤖 Как Google SayCan объединяет языковые модели и робототехнику
28 мин🤖 Как система SayCan от Google объединяет нейросети и робототехнику
57 мин🌐 Минчи Цзян: «Графики метрик скрывали реальные слепые зоны агента»
44 мин💡 ACCEL: как ИИ самостоятельно создает себе учебную программу
58 мин🚀 LAION-5B: Как энтузиасты создали крупнейший открытый датасет для ИИ
58 мин🏗 Кристоф Шуман о проекте LAION-5B: Как энтузиасты создают открытый ИИ
58 мин🧠 Уильям Федус и Баррет Зоф: как разреженные экспертные модели меняют ландшафт ИИ
58 мин🧩 Как архитектуры Switch Transformers и GLAM масштабируют ИИ до триллионов параметров
43 мин🧠 Авторы DSI: «Будущее информационного поиска — в дифференцируемых трансформерах»
51 мин🔍 Янник Кильхер о DSI: как нейросети запоминают документы
14 мин🚀 Google PaLM и OpenAI DALL-E 2: Технический разбор главных нейросетевых прорывов
59 мин🎨 Эволюция ИИ-арта: от безумия Deep Dream до умной диффузии
49 мин🧭 Как естественный язык помогает ИИ исследовать сложные виртуальные миры?
42 мин🧩 Янник Килчер: «Язык как ключ к эффективному обучению агентов»
18 мин✍ Янник Килхер о новых возможностях GPT-3 и инфраструктуре Pathways
40 мин🛠 Мадан и Тандон о методе «памяти» для адаптации GPT-3
36 мин🧠 Янник Килхер разобрал архитектуру динамической памяти MemPrompt для GPT-3
48 мин🧠 Клара Майстер о Typical Decoding: как сделать ИИ человечнее
48 мин🧠 Почему ИИ говорит банальности: Янник Кильхер о методе Typical Decoding
48 мин🧠 Янник Килхер: как типичное семплирование делает нейросети человечнее
48 мин🛠 Качество против количества: как модель BLIP очищает интернет-данные
46 мин🧠 Salesforce Research представила BLIP: универсальный ИИ для понимания и генерации изображений
56 мин🧠 Как активные дендриты защищают нейросети от катастрофического забывания
1ч 05м🧠 Янник Кильхер: «Активные дендриты позволяют нейросетям учиться, не забывая старое»
1ч 05м🧠 Как активные дендриты защищают нейросети от катастрофического забывания
35 мин🚗 Как виртуальный синтез аномалий VOS помогает беспилотникам распознавать неизвестные объекты
35 мин🚀 Виртуальные аномалии: как метод VOS учит ИИ распознавать данные вне распределения
35 мин🧠 Янник Кильхер о VOS: «Метод работает, но вопросы остались»
1ч 36м🎩 Как «глупые правила» помогают искусственным агентам учиться порядку
58 мин🧠 Как ИИ от OpenAI научился решать олимпиадные задачи по математике через самообучение
50 мин🚀 Как OpenAI научила нейросети доказывать олимпиадные теоремы
28 мин⚛ Янник Килхер о сознании ИИ: «Илья Суцкевер может быть прав»
53 мин🚀 Реми Леблон и Питер Чой из DeepMind о создании AlphaCode и будущем ИИ в IT
45 мин🧠 AlphaCode: как ИИ решает задачи уровня олимпиад
44 мин🧠 Авторы ChibiT о переносе знаний из текстов Wikipedia в Offline RL
38 мин🧠 Как предобучение трансформеров на Википедии помогает в обучении роботов
1ч 33м🌊 Йошуа Бенжио: «GFlowNets — это обучаемая замена методам Монте-Карло»
1ч 02м🧱 Ади Фукс: «Современные ускорители ИИ — это идеи 1970-х, дождавшиеся своего часа»
26 мин🚗 Uber меняет XGBoost на Deep Learning, а MuZero берется за сжатие YouTube: главные новости ML
1ч 24м🌐 CM3 от Meta: как новая модель научилась понимать структуру интернета
1ч 18м🧠 HyperTransformer: Как одна нейросеть за мгновение создает другую
1ч 18м🧠 Андрей Шмогенов рассказал о генерации весов нейросетей через HyperTransformer
54 мин🧬 Кэвин Бок об алгоритме Geneva: как ИИ находит лазейки в государственных файрволах
26 мин🚀 ИИ против математиков и токсичности: обзор DeepMind, OpenAI и Meta
1ч 17м🏠 Венлонг Хуанг представил метод zero-shot планирования для ИИ-агентов
1ч 17м🤖 Вэнь Лун Хуан: «GPT-3 обладает здравым смыслом для управления роботами»
15 мин🚀 OpenAI против Нильса Реймерса: дебаты вокруг стоимости и качества новых эмбеддингов
1ч 21м🧠 Как глубокое обучение помогает нейробиологам понять механизмы работы мозга
20 мин🚀 Алхимия больших моделей: как устроен открытый гигант GPT-NeoX-20B
1ч 11м🧩 Стефан Дасколи: «Символьная регрессия откроет роботам законы физики»
12 мин🥈 Янник Килчер о «Skill > Destiny»: как покер сформировал философию ML-канала
18 мин🚀 Янник Кильхер о ConvNeXt: «Сверточные сети возвращают себе славу»
1ч 22м🧠 Как архитектура Neural Interpreters объединяет глубокое обучение и программирование
23 мин🌌 Ферран Алет: «Сохраняющиеся величины — это ключ к эффективности моделей»
1ч 23м🏗 Как победить в Minecraft RL: команда Kairos о сочетании обучения и инженерного подхода
41 мин🧠 Илон Маск и Full Self-Driving: почему создание автопилота Tesla — это сложнейшая инженерная задача
54 мин🎮 Мартин Шмид о Player of Games: „Универсальный алгоритм для любой игры“
42 мин🎨 Как работает GLIDE от OpenAI: диффузионные модели против DALL-E
31 мин🌐 Янник Кильхер: WebGPT, ожившие рисунки и новый журнал TMLR
37 мин📊 DeepMind против Google: гонка супермоделей Gopher и GLaM
54 мин🛠 Как победить пустые пиксели с помощью формулы Фурье?
25 мин🧠 Янник Кильхер: DeepMind в математике и новые горизонты ИИ
52 мин🧠 Как нейросеть NÜWA создает видео с помощью трехмерного внимания
52 мин🧩 Янник Кильхер: «NÜWA — универсальная модель для синтеза контента»
29 мин🔓 Янник Килчер: OpenAI открывает GPT-3, а Нью-Йорк вводит аудит предвзятости ИИ
57 мин🚀 Как архитектуры Scaling Transformer и Terraformer ускоряют инференс больших моделей
57 мин🚀 Как архитектура Terraformer ускоряет Transformers в 37 раз без потери качества
40 мин🧬 Янник Килчер об ExT5: как экстремальное масштабирование задач меняет обучение нейросетей
40 мин🧠 Экстремальное масштабирование: как модель ExT5 объединила 107 задач обучения
59 мин🧠 Implicit MLE: как обучать нейросети с дискретными алгоритмами
11 мин🎲 Янник Кильчер: «Рецензирование научных статей на NeurIPS превратилось в лотерею»
48 мин🧠 Борис Князев о замене SGD и графовых гиперсетях GHN-2
48 мин🧠 Как предсказать параметры нейросети без обучения: разбор статьи GHN-2 с Борисом Князевым
39 мин🛠 Learning Rate Grafting: как эффективно скрестить оптимизаторы в нейросетях
36 мин🔍 Янник Килчер: «Cedille, YOU и ИИ-инвестиции в мемы»
48 мин🧠 Янник Килчер: «Градиенты — это не всё, что вам нужно»
37 мин📊 Янник Килчер о «журналистике гнева» и провале ИИ-оценки недвижимости в Zillow
37 мин🌐 Искусственная кожа от Meta и русский DALL-E: подробный обзор ML News от Янника Кильхера
34 минЯнник Кильчер об архитектуре Autoregressive Diffusion Models
34 минЯнник Кильчер: «Autoregressive Diffusion Models меняют порядок генерации»
36 мин🚀 Google Pathways и тайны OpenAI: как ИИ учится решать задачи и видеть мир
29 мин🎮 EfficientZero: как ИИ учится играть в Atari почти без данных
1ч 06м📈 Исповедь падшей звезды ИИ: Сирадж Равал о том, как жажда охватов разрушила его карьеру
1ч 06м🎓 Как погоня за миллионом подписчиков едва не уничтожила Сираджа Равала?
21 мин🎤 Янник Килчер: NVIDIA GTC'21, успех MuJoCo и ИИ в Google Таблицах
26 мин🎮 NVIDIA GTC'21, открытый симулятор MuJoCo и нейросети в Google Sheets
18 мин🎨 Искусство с ИИ: репортаж Янника Килчера с фестиваля AiiA
45 мин🧠 Как обучить маленькую нейросеть здравому смыслу лучше, чем GPT-3
45 мин🧠 Студент превзошел учителя: как ИИ создает базы знаний лучше человека
27 мин🏗 Янник Кильхер о прибыли DeepMind: «Это похоже на бухгалтерский трюк»
27 мин🤖 Янник Килчер: «DeepMind прогнозирует погоду лучше человека»
29 мин🧩 Янник Кильхер объяснил феномен гроккинга на алгоритмических датасетах OpenAI
20 мин🧠 Тупик масштабирования ИИ: почему Кильхер не верит в вычислительный кризис
30 мин🕵 Янник Килчер: OpenAI суммаризирует книги, а Шмидхубер снова требует признания
14 мин🧐 Новые рекорды Google на ImageNet и критика бенчмарка TruthfulQA
13 мин🚩 Янник Кильчер: «GPT-3 не лжёт, её просто заставили ошибаться в тесте TruthfulQA»
32 минЯнник Килхер о топографических VAE: «Это интересная идея или прорыв?»
25 мин🎙 NLP без текста, тайны TikTok и Юрген Шмидхубер против всех в новом выпуске ML News
27 мин🏥 ИИ на рентгене, закрытие HealthStreams и Юрген Шмидхубер в Саудовской Аравии
36 мин🧠 ∞-former: Как работает трансформер с «неограниченной» памятью
17 мин♟ Янник Килчер о новых инструментах ИИ: от шахмат до робототехники
31 мин🧠 Янник Килчер о методе ALiBi: «Трансформеры теперь могут работать с текстами в 10 раз длиннее»
31 мин🧩 Янник Килчер разобрал метод ALiBi для экстраполяции контекста трансформеров
53 мин🕹 OpenAI Codex: революция в разработке или продвинутая поисковая машина по GitHub?
32 мин🚨 Скандал на ICCV, критика Stanford HAI и робот-танцор Илона Маска: обзор новостей ML
35 мин📉 Янник Кильхер проанализировал линейную архитектуру Fastformer
44 мин🧩 Разбор PonderNet: как научить нейросеть динамически мыслить
44 мин🧠 Как PonderNet обучает нейросети адаптировать объём вычислений под сложность задачи
26 мин🎭 Дайджест ML News: цифровой двойник Nvidia и сложность биологических нейронов
50 мин🛡 Янник Килчер о рисках системы CSAM-детекции Apple: «Огромный потенциал злоупотреблений»
30 мин🛠 Сканирование смартфонов от Apple и «мастер-лица»: обзор ML News
2ч 28м🚀 Ошибка первого шага: почему масштабирование нейросетей не создаст AGI
26 мин🤖 Янник Кильхер: «ИИ как изобретатель — это PR или прогресс?»
13 мин🎮 Игра New World сжигает GPU, а Google Imagen побеждает DALL-E: главные новости ML
23 мин🤖 Янник Килхер: роботы Facebook, год EleutherAI и «неожиданная» сложность автопилота
26 мин💻 Янник Кильчер о скандалах в ML: алгоритмы увольнения в Amazon и юридические риски ИИ
23 мин👁 Камера вместо радара: почему автопилот Tesla отказывается от датчиков
18 мин🤖 Янник Кильчер о запретах CVPR и будущем научных публикаций
1ч 14м🧩 Янник Килхер: «Модель вмятого многообразия объясняет меньше, чем мы знали»
1ч 14м🧠 Янник Кильчер против теории ямчатого многообразия: почему новая модель состязательных атак не выдержала проверки
15 мин🤗 Янник Кильхер: подробный разбор PyTorch 1.9, ИИ-модерации и беспилотного Mayflower 400
35 мин🔄 Янник Кильхер об архитектуре XCiT: трансформер или скрытая свёрточная сеть?
35 мин🧩 Facebook AI представила XCiT: линейная сложность внимания через кросс-ковариацию каналов
1ч 36м🧠 Ишан Мисра о будущем AI: «Здравый смысл — это темная материя»
34 мин🧠 AMP: как обучить ИИ-персонажей двигаться естественно?
17 мин🧠 Янник Килчер: «Эджлорды из Discord обошли техногигантов в демократизации ИИ»
32 мин🧠 Эффективное неявное дифференцирование: как JAX и Google Research меняют правила игры в ML
16 мин🏥 Янник Килчер разобрал регулирование ИИ в ЕС и модель WuDao
10 мин🛠 Ретроспектива GitHub Янника Килчера: от мониторинга GPU до самодельных библиотек
56 мин🤖 Как превратить обучение с подкреплением в задачу для GPT: разбор Decision Transformer
11 мин🚀 Anthropic привлекла $124 млн, а DeepMind открыла среду для обучения ИИ на Android-приложениях
35 мин🧠 Разбор гипотезы Сильвера и Саттона о достаточности награды для ИИ
45 минЯнник Кильхер о RIMs: «Это не мета-обучение, а разделение»
41 мин🧠 Обучение ИИ забыванию: подробный разбор архитектуры Expire-Span от Янника Килчера
41 минЯнник Кильхер: «Expire-Span учит нейросети правильно забывать»
34 мин📉 FNet: как Google ускоряет sequence-модели без блоков внимания
34 мин⚠ Конец эпохи Attention? Как Google заменил внимание школьной математикой
2ч 17м🧠 Конец эпохи трансформеров: квантовый путь к пониманию языка
13 мин🎵 Как Янник Кильхер создал музыкальный клип с помощью CLIP и BigGAN: подробный туториал
54 мин🤖 Диффузионные модели: новая эра генерации изображений
30 мин🧠 Янник Кильхер: «Инволюция — новый убийца сверточных нейросетей?»
30 минInvolution против CNN: как работают динамические ядра в Vision
28 мин🏗 Янник Кильхер: «MLP-Mixer — простая альтернатива трансформерам?»
39 мин🚀 Янник Килчер о DINO: как Vision Transformer научился видеть объекты без учителя
39 мин🧩 Как Facebook AI научила нейросети «видеть» мир без единой подсказки
1ч 48м🎓 Хади Салман: «Состязательные примеры — это не баги, это признаки»
36 мин🌪 Янник Килхер: «Почему создание ИИ сложнее, чем мы думаем»
15 мин🛒 Янник Килчер и математик Йонас приготовили веганский ужин по случайному рецепту от GPT-3
33 мин🚀 Янник Кильхер о технологии NeRF: как нейросети совершили революцию в 3D-рендеринге
21 мин🧱 Аналоговый Redstone: как Янник Кильчер реализовал алгоритм обратного распространения ошибки в Minecraft
48 мин🧩 Янник Кильхер разобрал нейросимволическую систему DreamCoder
16 мин🎯 Гайд по выживанию в аспирантуре ML: советы Янника Кильхера
12 мин🐦 Янник Кильхер разобрал алгоритмы Google Translate на фоне обвинений в предвзятости
1ч 25м🧬 Том Захави: «Обучение с подкреплением — самый общий фреймворк для AGI»
29 мин🧩 Янник Килхер: «Perceiver — это новый этап эволюции трансформеров»
34 мин🧠 Языковые модели как универсальные вычислители: разбор исследования от Янника Кильчера
34 мин🧠 Янник Килхер разобрал гипотезу трансформеров как универсальных вычислителей
58 минЯн Лекун: «Самообучение — это темная материя интеллекта»
51 мин🧠 Яблоко или iPod? Как текст обманывает зрение нейросетей
1ч 03мGLOM: Новый теоретический подход Джеффа Хинтона к машинному зрению
51 мин🧠 Янник Килчер о связи линейных трансформеров и быстрых весов
45 мин🧠 Разбор DeBERTa: как Microsoft улучшила архитектуру BERT
54 минЯнник Килхер: «Dreamer v2 мастерски осваивает Atari в воображении»
54 мин🧠 Dreamer v2: как дискретные модели мира помогают ИИ побеждать в Atari
29 мин🤖 Трансформеры против сверток: как архитектура TransGAN генерирует изображения без CNN
34 мин🛑 Кильхер о NFNets: «Примеры внутри пакета остаются неявно взаимосвязанными»
48 мин🧠 Линейное внимание вместо квадратичного: спасёт ли метод Найстрема современные нейросети?
48 мин🛑 Как Nyströmformer решает проблему квадратичной сложности в архитектуре Transformer
1ч 34м🚫 Педро Домингос о культуре отмены и будущем нейросетей
43 мин🧠 Янник Кильхер: «Любая модель, обученная градиентным спуском — ядерная машина»
43 мин🏗 Как Feedback Transformer решает проблему многошаговых рассуждений в ИИ?
1ч 36м🧩 Николас Карлини об ИИ-безопасности: «Если от модели зависит жизнь — не развертывайте ее»
52 мин🏗 Янник Килчер о SingularityNET: анализ архитектуры и рыночных стратегий
1ч 58м🧭 Лена Войта об информационном горлышке и ловушках зондирования трансформеров
33 мин🚀 Switch Transformer: как Google упаковал триллион параметров в одну нейросеть
13 мин🎓 Соавтор Adam: «В моём доказательстве было четыре ошибки»
48 мин🚀 Янник Килчер разобрал архитектуру и возможности zero-shot модели CLIP от OpenAI
55 мин🎨 Как нейросеть DALL·E генерирует изображения по тексту: технический разбор
55 мин🥑 Янник Кильхер разобрал архитектуру и ограничения нейросети DALL·E
1ч 03м🔐 Янник Килхер о проблеме утечки данных из нейросетей: «Страшнее, чем кажется?»
14 мин🪄 Янник Кильхер: «SOTA — это магическое слово, заставляющее рецензентов нажимать Accept»
1ч 12м✂ Как алгоритм ReBeL научился обыгрывать людей в покер с помощью теории игр
27 минМатематический разбор покерной задачи Даниэля Негреану
54 мин🧬 DeepMind: как архитектура трансформеров решила задачу 50-летней давности
48 минЯнник Килхер: «Предиктивное кодирование — биологический аналог backprop?»
1ч 05мFourier Neural Operator: как ИИ ускоряет физические вычисления
59 минНедостаточная спецификация: почему современные модели AI часто дают сбой в реальности
59 мин🚀 Почему идеальные тесты ИИ проваливаются в реальном мире
54 мин🛑 Как архитектура Performers решает проблему квадратичной сложности классических трансформеров
59 мин🚀 Быстрее EfficientNet в 4.5 раза: Янник Килчер объясняет устройство LambdaLayers
41 мин📉 Янник Килчер: «Используйте Adam, этого достаточно — итоги бенчмарка оптимизаторов»
41 мин📊 Янник Килхер разобрал масштабный бенчмарк оптимизаторов глубокого обучения
29 мин🎭 Янник Килхер: «Трансформеры — это самые универсальные вычислители»
53 минЯнник Килхер о новом обучаемом оптимизаторе от Google: «Интересно, но сыро»
53 мин🛠 Нейросети вместо формул: почему обучаемые оптимизаторы Google буксуют?
1ч 37м🧠 Алекс Стэнли о возвращении к ядерным методам в эпоху трансформеров
52 мин🎰 Янник Килчер о «аппаратной лотерее»: почему побеждают только удобные технологии
1ч 27м🧠 Матильда Карон о SWaV: Как победить обучение с учителем на его же поле
42 мин♟ Как AlphaZero и Владимир Крамник переосмыслили правила шахмат с помощью ИИ
30 мин🧩 Нейронные клеточные автоматы: как MNIST классифицирует сам себя по мнению Килчера
30 мин🧠 Янник Кильхер о нейронных клеточных автоматах: как MNIST учится через консенсус
55 мин🚀 Axial-DeepLab: Как механизм осевого внимания заменяет свёртки в компьютерном зрении
36 мин☢ Янник Килхер: «Радиоактивные метки» позволят ловить ИИ-компании на краже данных
55 мин🧠 Как решать новые задачи в RL без переобучения: разбор Янника Килчера
38 мин📊 Исследование Google Brain: как правильно настроить on-policy RL-агента
25 мин📉 Янник Килчер: «Система рецензирования в машинном обучении полностью сломана»
1ч🧠 REALM: Как научить нейросеть пользоваться Википедией как человеком
1ч🧠 Как REALM учит нейросети искать ответы в Википедии
39 мин🧠 Как случайные нейросети учатся ходить с помощью пластичности Хебба
1ч 05м🧠 Связь сетей Хопфилда и механизмов внимания в современных ИИ-моделях
1ч 05м🧠 Янник Килчер объяснил математическую связь трансформеров и сетей Хопфилда
11 мин🛠 Янник Кильчер: «Зачем спорить, если ИИ может решить 2+2 за нас?»
24 минЯнник Килчер о PCGRL: «Дизайн уровня как игра»
34 мин🧱 Янник Килчер разобрал архитектуру разреженного внимания модели Big Bird
40 мин🌐 Янник Килчер разобрал метод Noisy Student для ImageNet
39 мин🕹 Как ИИ от DeepMind научился играть в Atari: разбор классической статьи от Янника Килчера
46 мин🧠 Яник Килчер о статье AlexNet: «Это начало революции глубокого обучения»
35 мин🧠 Янник Килчер: «Поиск нейросетвых архитектур за 2 секунды без обучения возможен»
37 мин🎭 Классика ИИ: как появилась концепция Generative Adversarial Networks
31 мин📜 Янник Кильхер разобрал классическую статью Google об алгоритме Word2Vec
31 мин💥 ResNet: Как skip-connections спасли глубокое обучение от деградации
19 мин📈 Янник Кильхер: «Ответ на предвзятость не может заключаться в еще большей предвзятости»
46 мин🧩 Ландшафт потерь ИИ: как Deep Ensembles находят уникальные решения
42 мин🧠 Как работают Gradient Origin Networks без явного кодера?
34 мин🎭 Как исследователи NVIDIA излечили вариационные автоэнкодеры от хронической размытости картинок
48 мин🧠 Янник Кильхер: «Супермаски и суперпозиция — это две разные идеи, случайно оказавшиеся в одной статье»
1ч🧠 Как супермаски и лишние нейроны решают проблему катастрофического забывания в ИИ
1ч 18м🛠 Plain Self-Ensembles: Янник Кильхер о случайном открытии в машинном обучении
35 мин🧩 SpineNet против ResNet: новая геометрия бэкбонов для компьютерного зрения
48 мин⚠ Как превратить трансформер в RNN и ускорить его в 4000 раз?
33 минФрансуа Шолле о тесте ARC: „Попытка формализовать человеческое мышление“
36 мин🧬 BERTology: Как нейросети учатся предсказывать 3D-структуру белков
36 мин🧬 Янник Килхер объяснил, как нейросеть BERT предсказывает структуру белка
1ч 13м⚙ Янник Килчер: „GShard — это инженерный прорыв в масштабировании моделей“
1ч 13м🔄 Янник Килчер разобрал архитектуру нейросети GShard на 600 миллиардов параметров
42 мин🎯 Как нейросеть Slot Attention от Google Brain учится разделять объекты на фото
59 минЯнник Кильхер: «Генерация наборов изображений через энергетические модели»
34 минContext R-CNN: почему модели нужно «видеть» прошлое для точного распознавания
34 мин📸 Как нейросети используют память за целый месяц для поиска объектов в Context R-CNN
34 мин🛑 Сможет ли случайная матрица заменить обратное распространение ошибки?
43 мин🧠 Шолле против ИИ-тестов: можно ли измерить разум математически?
46 мин🧠 Как ИИ выводит физические законы из нейросетей
45 мин🏷 Как эффективно читать статьи по машинному обучению: гайд Янника Кильхера
36 минЯнник Килчер о RepNet: как нейросети считают повторы в видео
14 мин🖼 Ян Лекун против Twitter: почему «белый Обама» вызвал скандал в мире ИИ
56 мин🧠 Как нейросеть SIREN кодирует 3D-пространство и графику через синус
56 мин🧠 Янник Кильчер: «SIREN — это революция в представлении сигналов»
37 мин🔄 Парадокс SimCLRv2: как обучить огромную нейросеть на 10% данных
2ч 33м🧠 Миф об универсальном интеллекте: почему глубокое обучение зашло в тупик
2ч 33м🧠 Миф об автономном ИИ: почему глубокое обучение не интеллект
30 мин🧠 Франсуа Шолле против больших данных: почему ИИ не умнеет от гигабайтов
31 мин🖼 Янник Кильхер о модели Image GPT от OpenAI: «Генеративное обучение на пикселях»
33 мин🧠 DeepMind представили алгоритм BYOL: новая веха в self-supervised обучении
49 мин🖼 Как нейросеть TUNIT научилась переносить стили изображений без разметки
49 мин🧠 Янник Килчер: «Биологическая бистабильность — ключ к долгой памяти нейросетей»
44 мин✂ Янник Килчер: «Алгоритм SynFlow позволяет удалять лишние веса еще до начала обучения»
36 мин🧮 Янник Кильчер: «Языковые модели находят „костыли“ для решения задач высшей математики»
29 мин📸 Обучение ИИ на текстах: как метод VirTex заменяет огромные датасеты
50 мин🧠 Linformer: как аппроксимация матриц низкого ранга ускоряет трансформеры
40 мин🎙 Янник Килчер разобрал сквозную модель синтеза речи от DeepMind
48 минTransCoder: Как обучить ИИ переводить код без примеров?
31 минЯнник Килхер о метрике BLEURT: когда нейросети оценивают друг друга
1ч 51м🚀 Янник Килчер о GPT-3: «Модель использует нечеткий поиск данных»
33 мин🔍 Синтетическая чашка Петри: Как микро-модели ускоряют поиск нейросетевых архитектур
25 мин🧩 Как нейросеть CornerNet находит объекты по углам: детальный разбор архитектуры
30 мин✂ Movement Pruning: как адаптивное сжатие через fine-tuning делает BERT компактнее
45 мин🧠 Обучение без учителя: как метод SCAN классифицирует изображения без единой метки
45 мин🧠 Разбор алгоритма SCAN: трехэтапная кластеризация изображений без учителя
37 мин🧭 Шолле о машинном обучении: «Мы измеряем навыки, а не адаптивность»
50 мин🤖 Янник Килхер о методе самостоятельного обучения навыкам ИИ
48 минЯнник Кильхер о Synthesizer: переосмысление внимания в Transformer
48 мин🧠 Нужен ли трансформерам Self-Attention? Мнение блогера Янника Кильхера
33 мин🚀 Янник Кильчер: «Запустить DETR от Facebook проще, чем нарисовать рамку в Python»
1ч 04м🐘 Разбор GPT-3 от Янника Килчера: архитектура, тесты и иллюзия логики
40 мин🛠 Янник Кильхер о DETR: «Эта архитектура суперпроста по сравнению с предшественниками»
13 минЯнник Килчер о методе mixup: «Простой способ улучшить нейросети»
24 мин🧠 Янник Килчер: «Одного фото достаточно для обучения первых слоев нейросети»
17 мин🚀 Как нейросеть VGG-16 и фМРТ реконструируют изображения из мозга человека
29 мин🌍 Как заставить ИИ планировать только там, где он знает?
24 мин📋 Этика по принуждению: почему новые правила NeurIPS вредят независимым ученым?
53 мин🧠 Янник Кильхер: «В нейросети BERT почти любой фрагмент может стать выигрышным»
11 мин🤖 Нейросети пишут код: Янник Килчер разобрал презентацию OpenAI и плагин Tabnine
10 мин🕹 Как человеческая интуиция мешает и помогает нам в видеоиграх
51 мин🧠 Как iMAML побеждает вычислительный кошмар традиционного мета-обучения?
1ч 02м🛠 Создание классификатора тональности на PyTorch и Hugging Face: туториал Янника Килчера
35 мин🌍 Как обучить робота без вознаграждений? Разбор алгоритма Plan2Explore
21 мин🎙 Как Facebook разогнали синтез речи в 160 раз на стандартном CPU
19 мин🧠 Янник Кильчер: «Weight Standardization станет новым стандартом для больших нейросетей»
32 мин🔍 Янник Кильхер: «Почему алгоритмы не могут распознать преступника по лицу»
39 мин🚀 Янник Кильхер: «Data Echoing ускоряет обучение нейросетей за счёт повтора данных»
29 мин📉 Как Group Normalization решает проблему обучения нейросетей на малых батчах
39 мин🔋 Янник Килхер разобрал концепт обучения на основе энергетических моделей от OpenAI
34 мин🧠 Янник Кильхер о BiT: «Универсальный старт для любой визуальной задачи»
34 мин🖼 Big Transfer (BiT): как Google адаптировал успех BERT для компьютерного зрения
25 мин🧭 Янник Килчер разобрал новый алгоритм Divide-and-Conquer MCTS для целевого планирования
22 мин🤖 Заменяет ли простая аугментация годы исследований в сфере RL?
31 мин🧠 TAPAS: как нейросети учатся «читать» таблицы без SQL
27 мин🧩 Янник Килчер: «Человечество обречено, теперь ИИ проектирует ИИ-ускорители»
11 мин🛠 Янник Килчер: «Blender — это инженерное руководство, а не научный прорыв»
33 мин🎵 Янник Кильхер о Jukebox: «Они научили нейросеть петь»
35 мин🎮 Янник Килчер разобрал симуляцию AI Economist: как ИИ предлагает оптимизировать налоги
35 мин🎮 Экономика под управлением ИИ: как Salesforce научила нейросети собирать налоги
35 мин🎫 Магия знака или просто геометрия? Как Uber AI деконструировали нейросети
35 мин🤖 Янник Кильхер: деконструкция гипотезы лотерейных билетов в нейросетях
25 мин📉 Исследование ImageNet v2: почему нейросети ошибаются на новых данных
19 мин🏆 Юрген Шмидхубер против Джеффри Хинтона: Спор об истинных авторах глубокого обучения
30 мин📉 Yannic Kilcher о Supervised Contrastive Learning: «Революция или шум?»
30 мин🧠 Янник Килчер: может ли Supervised Contrastive Learning заменить кросс-энтропию?
29 минЯнник Килчер: как заставить роботов «думать на ходу»?
32 мин🧠 Хирургия градиентов: как метод PCGrad решает проблемы многозадачного обучения
26 минLongformer: как эффективно анализировать длинные документы
32 мин🧠 Янник Кильхер: «Может ли мозг обучаться методом обратного распространения ошибки?»
32 мин🧠 Возможен ли бэкпроп в мозге? Разбор гипотезы Джеффри Хинтона
49 мин🧠 Феномен Shortcut Learning: почему нейросети находят лазейки в данных вместо понимания
49 мин🧩 Янник Кильчер: «Мы не можем математически сформулировать цели для нейросетей»
20 мин🧠 Как работает OpenAI Microscope: пошаговое руководство по визуализации признаков ИИ
19 мин🤖 Обучение на чужих ошибках: Янник Кильхер разбирает бенчмарк D4RL для Offline RL
20 мин🧩 Разбор FixMatch: как обучить нейросеть на 250 примерах вместо 50 тысяч
18 мин🧱 Янник Килчер об Imputer: баланс скорости и точности в распознавании речи
19 мин🧠 Янник Килчер: «Огромные нейросети — это лишь способ сорвать джекпот в вычислительной лотерее»
22 мин🧱 Как научить робота крутить вентили за 10 кликов: разбор Dynamical Distance Learning
28 минCURL: обучение ИИ на «сырых» пикселях без учителя
15 мин🚀 Янник Килчер об Enhanced POET: «Бесконечная изобретательность ИИ в создании новых миров»
1ч 12м🧬 Разбор POET: Как открытые алгоритмы от Uber генерируют задачи и решения
18 мин🧠 Почему NLP-модели «жульничают» и помогут ли ручные тесты это исправить?
33 мин🤖 Почему классический ИИ падает в ямы, а алгоритм POET побеждает?
22 мин🤖 Dream to Control: подробный разбор обучения агентов в латентном пространстве
22 мин😷 Янник Кильхер: «Можно ли победить COVID-19 без закрытия экономики?»
12 минЯнник Кильхер: «Автоматизация рецензирования изменит науку навсегда»
32 мин🕹 Как Agent57 от DeepMind превзошел человека в бенчмарке Atari
19 минЯнник Кильхер о рисках пандемии: «Нужен долгосрочный план, а не только запреты»
24 мин🧠 Deep Learning в символьной математике: как Facebook AI обошли Mathematica
10 мин🧐 Янник Кильчер: «Изменения в NeurIPS превращают науку в PR-индустрию»
15 минЯнник Кильчер о Neural Cellular Automata: «локальные правила, сложный результат»
21 мин🚀 Как Microsoft обучила Turing-NLG: разбор DeepSpeed и ZeRO
26 мин🧐 Исследователь Марк Ледвич опроверг миф о радикализации алгоритмами YouTube
29 мин🧠 Как уместить 64 000 токенов в одну видеокарту: разбор нейросети Reformer
19 минЯнник Кильхер о Go-Explore: «Новый подход к обучению ИИ»
26 мин🔄 Шмидхубер выворачивает ИИ наизнанку: детальный разбор концепции Upside-Down RL
18 минMuZero: как нейросети учатся планировать без правил игры
37 минЯнник Кильхер: «Преемственные представления — это ключ к пониманию мира агентами»
18 минКак работает SinGAN: генерация изображений из одного снимка
37 мин🕹 AlphaStar: как ИИ достиг уровня Grandmaster в StarCraft II
37 мин📢 Как ИИ AlphaStar покорил StarCraft II с помощью многоагентного обучения
20 мин🎮 Янник Килхер разобрал распределенную архитектуру глубокого обучения IMPALA
21 мин🧠 Гугл Брейн против дефицита данных: подробный разбор бенчмарка ВТАБ
30 мин🎮 Янник Килчер разобрал ИИ-агента LeDeepChef для текстовых игр
11 мин🧓 Янник Кильхер об обучении нейросетей: «XLNet стоит как пять аспирантов»
42 мин💊 Динамическая маршрутизация: Как CapsNet заменяет нейроны векторами
19 мин🧠 Как простая оптимизация BERT помогла превзойти сложные нейросети
43 мин🧐 Янник Кильхер: «Теория радикализации на YouTube — это пример самообмана исследователей»
21 мин🌐 Янник Килчер разобрал калибровочно-эквивариантные нейросети для сфер
21 мин🌀 Как Manifold Mixup делает нейросети устойчивее через «сплющивание» скрытых слоев
18 мин🧱 Как Salesforce Research ускоряет иерархическое обучение с подкреплением через World Graphs
18 мин🧩 Янник Кильхер о феномене Double Descent: «Современное обучение обходит классические законы переобучения»
44 мин🧬 Янник Килчер: «Почему великие цели нельзя достичь прямым планированием»
30 мин🏆 XLNet: первый алгоритм, побивший BERT во всём
30 мин🐘 XLNet против BERT: как случайные перестановки слов помогли ИИ побить рекорды
16 мин🚀 Янник Килхер: «Великие открытия нельзя спланировать»
40 мин🐱 Баг или фича? Почему состязательные атаки обманывают нейросети
24 мин🎮 Почему ИИ учится неделями, а человек адаптируется мгновенно?
23 мин🕒 Как параллельное декодирование ускоряет авторегрессионные модели в 7 раз
1ч 57м⚠ Янник Килчер: «Отчет AI Now об ИИ — это манипуляция»
30 мин🧠 Янник Килхер представил метод обнаружения состязательных атак под шумом
22 мин🧠 Как устроены нейросети без слоев: подробный разбор концепции Neural ODE
27 мин🧠 Янник Килчер о GPT-2: «Модель учится задачам без обучения»
25 мин🔍 Как алгоритм Batch Normalization ускоряет обучение глубоких нейросетей
40 мин🤖 Как и почему BERT произвел революцию в понимании языка нейросетями
56 мин🏷 Как скандал вокруг названия конференции NIPS расколол AI-сообщество
18 мин«Teacher-forcing — это хак»: решение для стохастических RNN
27 мин🧩 Янник Кильхер: почему чистое распутывание представлений в ИИ невозможно
18 мин🧠 World Models: Как Дэвид Ха и Юрген Шмидхубер научили ИИ обучаться в собственном воображении
17 минЯнник Кильхер: как научить алгоритмы ИИ «любопытству»?
27 мин📂 Янник Килхер: «Фундаментально Git — это граф коммитов»
27 минЯнник Килхер о «Attention Is All You Need»: революция в NLP
10 мин🧩 Обучение с подкреплением от Google: как вспомогательные задачи решают проблему редких наград
11 мин🧠 Разбор фреймворка DeepMind для обучения алгоритмов планирования с нуля
15 мин🤖 Янник Килчер объяснил работу агентов I2A от DeepMind