Ф
💬 Заметные цитаты
Суть проектирования нейросетей
«Универсальность — это на самом деле не то, к чему мы стремимся в дизайне архитектур. Мы хотим накладывать правильные ограничения.»
Роль языка в интеллекте
«Язык — это лучшая репрезентация мира, которую открыли люди.»
Природа обучения нейросетей
«Один из главных вопросов глубокого обучения: являются ли нейросети аналогами таких картотечных шкафов, которые просто зазубривают данные, или они создают нечто большее?»
Соотношение данных и моделей
Илья Суцкевер: «Нейросети конечны. Этого вполне достаточно. Любая конечная структура покажется крошечной и компактной, если у вас есть по-настоящему колоссальный объем данных»
Секрет успеха ИИ-алгоритмов
«Единственное, что систематически работает, — это проектирование простых алгоритмов, которые хорошо масштабируются.»
«Для меня глубокое обучение — это самая красивая форма математики и интеллекта, которую я могу себе представить.»
«Глубокие сети — это то, что позволяет учиться на малых объемах данных.»
«С пятью свободными параметрами я могу подогнать слона.»
📺 Где появляется
🧠 Ключевые концепции
📈 Темы
Deep Learning2Masked Autoencoders1Message Passing1OpenAI1Double descent1Scaling Laws1Transformer1Phillip Isola1VC-размерность1Representation Learning1Илья Суцкевер1Weisfeiler-Leman1
📺 Материалы с участием
1ч 21м🕸 Графовые нейронные сети: как GNN объединяют соцсети, химию и навигацию Google
1ч 20м🧩 Профессор MIT Филип Изола о парадоксах современной теории обобщения
1ч 20м🎯 Филип Изола о сути ИИ: Почему обучение представлениям — это ключ к интеллекту
38 мин📉 Филип Изола: «Простые алгоритмы побеждают благодаря масштабированию»