В новом выпуске своего ироничного обзора мемов исследователь ИИ Янник Кильхер (Yannic Kilcher) и его гость Антонио обсуждают современное состояние глубокого обучения. Собеседники разбирают, как трансформеры захватывают мир ИИ, почему академическое рецензирование превратилось в магический ритуал и чем виртуальные конференции в разгар пандемии напоминают шпионские игры.
🪄 Магия машинного обучения и закат эпохи Matlab 0:00
Несмотря на глубокое понимание математических основ, машинное обучение всё ещё воспринимается практикующими специалистами как некая форма магии . Антонио отмечает, что даже когда ты понимаешь внутреннее устройство алгоритмов, результат их работы часто вызывает удивление.
В контексте инструментов разработки участники дискуссии затронули судьбу Matlab. По ироничному замечанию Янника Кильхера, в мире осталось «всего около семи пользователей Matlab», и потеря хотя бы одного подписчика может привести к массовым увольнениям в компании-разработчике . В качестве альтернативы для тех, кто ищет «PyTorch на минималках», упоминается Scikit-learn, который в сообществе в шутку называют «домашним PyTorch» .
🥨 Виртуальные конференции и этика «сталкерства» 2:35
Пандемия COVID-19 перенесла научное общение в виртуальные пространства вроде Gather.town. Собеседники вспоминают курьёзные моменты этого формата:
- Виртуальные фуршеты: Попытки организовать совместное поедание кренделей (претцелей) и распитие напитков перед мониторами .
- Цифровое преследование: Янник признаётся, что использовал функцию «следовать за пользователем» (follow), чтобы буквально преследовать известных учёных, например, Джеймса Мартенса, что выглядело крайне странно со стороны .
- Реализм в деталях: Участники обсуждают отсутствие туалетов в виртуальных мирах и шутят, что если бы в Gather.town были писсуары, видеосвязь должна была бы активироваться только при нахождении персонажей рядом с ними .
📄 Культ SOTA и «магия» принятия статей 6:11
Одной из центральных тем обсуждения стала одержимость исследователей показателем SOTA (State of the Art — лучший результат на текущий момент). По мнению Антонио, аббревиатура SOTA в тексте статьи действует на рецензентов магически: они словно возносятся к небесам, а их рука сама тянется к кнопке «Accept» (принять статью) .
Исследователи выделяют несколько трендов в современных публикациях:
- Замена архитектур: Сейчас для получения SOTA достаточно просто заменить рекуррентные нейросети (RNN) или сверточные сети (ConvNets) на трансформеры .
- Многоголовое внимание (Multi-head attention): Антонио называет этот механизм «лучшим видом внимания», превосходящим даже потребность в еде и сне .
- Агрессивное рецензирование: Янник описывает типичное поведение «злого» рецензента, который может уничтожить работу, просто добавив список из десяти цитат на статьи, которые авторы якобы проигнорировали .
🤖 OpenAI, GPT-3 и «анонимность» 4:19
Особую иронию у участников вызывает процесс двойного слепого рецензирования (double-blind review) для крупных лабораторий. Когда на проверку приходит статья по GPT-3, всем очевидно, что её автором является OpenAI, что превращает анонимность в формальность .
Также обсуждается способность ИИ предсказывать фондовый рынок. Янник отмечает:
- На их Discord-сервере канал по предсказанию акций — один из самых популярных .
- Трансформеры вроде GPT-3 могут выдать прогноз цены на завтра, но, как шутит Антонио, этот прогноз почти наверняка будет неверным, хотя модель ответит очень уверенно .
🛠 Кризис дизайна TensorFlow и триумф PyTorch 11:43
Янник Кильхер подверг резкой критике архитектуру TensorFlow, особенно попытку внедрить режим Eager Execution. По его словам, исходный код TensorFlow буквально усеян проверками if eager ... else ..., что делает его похожим на два разных фреймворка, грубо склеенных вместе в попытке догнать PyTorch .
Другие тезисы о фреймворках:
- В 2016 году TensorFlow считался «королём», но к 2021 году ситуация радикально изменилась .
- Упоминается китайский фреймворк PaddlePaddle как потенциальный претендент на лидерство в будущем .
- Глубокое обучение в шутку называют «нечеткой логикой» (fuzzy logic), намекая на отсутствие строгой теоретической базы под многими практическими методами .
🕵️ Утечка данных и предсказания XKCD 9:17
Собеседники обратили внимание на комикс XKCD, где предиктивная модель случайно выдает секретную информацию (место и время встречи революционеров), обучившись на сообщениях пользователей . Янник подчеркивает, что эта шутка стала реальностью: совсем недавно вышла научная работа, доказывающая возможность извлечения обучающих данных из больших языковых моделей .
