# Янник Кильхер: «SOTA — это магическое слово, заставляющее рецензентов нажимать Accept»

Источник: https://www.youtube.com/watch?v=7DGlElSVYGo
Канал: Yannic Kilcher
Опубликовано: 24.12.2020

---

В новом выпуске своего ироничного обзора мемов исследователь ИИ **Янник Кильхер (Yannic Kilcher)** и его гость **Антонио** обсуждают современное состояние глубокого обучения. Собеседники разбирают, как трансформеры захватывают мир ИИ, почему академическое рецензирование превратилось в магический ритуал и чем виртуальные конференции в разгар пандемии напоминают шпионские игры.

## 🪄 Магия машинного обучения и закат эпохи Matlab
[[JUMP:0:00]]

Несмотря на глубокое понимание математических основ, машинное обучение всё ещё воспринимается практикующими специалистами как некая форма магии [0:48]. Антонио отмечает, что даже когда ты понимаешь внутреннее устройство алгоритмов, результат их работы часто вызывает удивление.

В контексте инструментов разработки участники дискуссии затронули судьбу Matlab. По ироничному замечанию **Янника Кильхера**, в мире осталось «всего около семи пользователей Matlab», и потеря хотя бы одного подписчика может привести к массовым увольнениям в компании-разработчике [1:43]. В качестве альтернативы для тех, кто ищет «PyTorch на минималках», упоминается Scikit-learn, который в сообществе в шутку называют «домашним PyTorch» [1:14].

## 🥨 Виртуальные конференции и этика «сталкерства»
[[JUMP:2:35]]

Пандемия COVID-19 перенесла научное общение в виртуальные пространства вроде Gather.town. Собеседники вспоминают курьёзные моменты этого формата:

*   **Виртуальные фуршеты:** Попытки организовать совместное поедание кренделей (претцелей) и распитие напитков перед мониторами [2:48].
*   **Цифровое преследование:** Янник признаётся, что использовал функцию «следовать за пользователем» (follow), чтобы буквально преследовать известных учёных, например, Джеймса Мартенса, что выглядело крайне странно со стороны [3:14].
*   **Реализм в деталях:** Участники обсуждают отсутствие туалетов в виртуальных мирах и шутят, что если бы в Gather.town были писсуары, видеосвязь должна была бы активироваться только при нахождении персонажей рядом с ними [3:53].

## 📄 Культ SOTA и «магия» принятия статей
[[JUMP:6:11]]

Одной из центральных тем обсуждения стала одержимость исследователей показателем SOTA (State of the Art — лучший результат на текущий момент). По мнению Антонио, аббревиатура SOTA в тексте статьи действует на рецензентов магически: они словно возносятся к небесам, а их рука сама тянется к кнопке «Accept» (принять статью) [6:52].

Исследователи выделяют несколько трендов в современных публикациях:

1.  **Замена архитектур:** Сейчас для получения SOTA достаточно просто заменить рекуррентные нейросети (RNN) или сверточные сети (ConvNets) на трансформеры [7:18].
2.  **Многоголовое внимание (Multi-head attention):** Антонио называет этот механизм «лучшим видом внимания», превосходящим даже потребность в еде и сне [8:02].
3.  **Агрессивное рецензирование:** Янник описывает типичное поведение «злого» рецензента, который может уничтожить работу, просто добавив список из десяти цитат на статьи, которые авторы якобы проигнорировали [9:04].

## 🤖 OpenAI, GPT-3 и «анонимность»
[[JUMP:4:19]]

Особую иронию у участников вызывает процесс двойного слепого рецензирования (double-blind review) для крупных лабораторий. Когда на проверку приходит статья по GPT-3, всем очевидно, что её автором является OpenAI, что превращает анонимность в формальность [4:19].

Также обсуждается способность ИИ предсказывать фондовый рынок. Янник отмечает:

*   На их Discord-сервере канал по предсказанию акций — один из самых популярных [5:27].
*   Трансформеры вроде GPT-3 могут выдать прогноз цены на завтра, но, как шутит Антонио, этот прогноз почти наверняка будет неверным, хотя модель ответит очень уверенно [5:14].

## 🛠 Кризис дизайна TensorFlow и триумф PyTorch
[[JUMP:11:43]]

Янник Кильхер подверг резкой критике архитектуру TensorFlow, особенно попытку внедрить режим Eager Execution. По его словам, исходный код TensorFlow буквально усеян проверками `if eager ... else ...`, что делает его похожим на два разных фреймворка, грубо склеенных вместе в попытке догнать PyTorch [13:26]. 

Другие тезисы о фреймворках:

*   В 2016 году TensorFlow считался «королём», но к 2021 году ситуация радикально изменилась [11:43].
*   Упоминается китайский фреймворк PaddlePaddle как потенциальный претендент на лидерство в будущем [11:57].
*   Глубокое обучение в шутку называют «нечеткой логикой» (fuzzy logic), намекая на отсутствие строгой теоретической базы под многими практическими методами [13:52].

## 🕵️ Утечка данных и предсказания XKCD
[[JUMP:9:17]]

Собеседники обратили внимание на комикс XKCD, где предиктивная модель случайно выдает секретную информацию (место и время встречи революционеров), обучившись на сообщениях пользователей [9:29]. Янник подчеркивает, что эта шутка стала реальностью: совсем недавно вышла научная работа, доказывающая возможность извлечения обучающих данных из больших языковых моделей [9:44].