# Юрген Шмидхубер против Джеффри Хинтона: Спор об истинных авторах глубокого обучения Источник: https://www.youtube.com/watch?v=hDQNCWR3HLQ Канал: Yannic Kilcher Опубликовано: 26.04.2020 --- В мире искусственного интеллекта разгорается очередной раунд многолетнего спора о том, кто на самом деле стоит у истоков технологий, изменивших современность. Юрген Шмидхубер, известный своей бескомпромиссной борьбой за академическую справедливость, выступил с резкой критикой присуждения премии Honda Prize Джеффри Хинтону, обвинив последнего в присвоении чужих заслуг. ## 🏆 Конфликт вокруг премии Honda Prize [[JUMP:0:00]] 21 апреля Юрген Шмидхубер опубликовал в Twitter пост, в котором призвал «прекратить приписывать изобретения не тем людям» [0:00]. Он сопроводил запись ссылкой на статью на своём сайте под названием «Критика премии Honda Prize для доктора Хинтона». По мнению Шмидхубера, факты в науке рано или поздно восторжествуют, и никакие престижные награды не смогут изменить историческую правду [0:13]. Основная претензия Юргена Шмидхубера направлена не столько против самого Хинтона, сколько против формулировок в пресс-релизе Honda. Янник Кильхер отмечает, что Шмидхубер методично, пункт за пунктом, разбирает заявления организаторов премии, называя их «просто неверными» [1:32]. ## 🧠 Кто на самом деле изобрел метод обратного распространения? [[JUMP:1:19]] В пресс-релизе Honda Prize утверждается, что Джеффри Хинтон создал ряд технологий, включая алгоритм обратного распространения ошибки (backpropagation), который лег в основу глубокого обучения [1:19]. Юрген Шмидхубер категорически с этим не согласен: * По его утверждению, истинным изобретателем метода является Сеппо Линнайнмаа (Seppo Linnainmaa), опубликовавший работу в 1970 году [1:46]. * Шмидхубер подчеркивает, что многие знаковые статьи в области ИИ не содержат ссылок на первоисточник метода [2:00]. Джеффри Хинтон в своем ответе на критику признал, что не изобретал алгоритм [10:39]. Он утверждает следующее: 1. Алгоритм был независимо переоткрыт Дэвидом Румельхартом (David Rumelhart) после того, как он уже существовал в других областях [10:39]. 2. На момент публикации своей первой работы группа Хинтона не знала об истории создания метода [10:53]. 3. Основная заслуга Хинтона, по его собственным словам, заключается в том, что он первым наглядно продемонстрировал способность метода изучать сложные внутренние представления данных, что и сделало алгоритм популярным [11:05]. Хинтон также добавил, что часто поправляет журналистов, называющих его изобретателем обратного распространения, и даже считает, что получил за это «слишком много признания» [12:02]. ## 📉 Спор о предобучении и революции глубокого обучения [[JUMP:2:39]] Второй пункт критики касается 2002 года, когда Джеффри Хинтон представил алгоритм быстрого обучения для ограниченных машин Больцмана (RBM). Honda утверждает, что это позволило глубокому обучению работать лучше и привело к текущей революции в области ИИ [2:51]. Юрген Шмидхубер выдвигает следующие контраргументы: * Он называет интерес Хинтона к неконтролируемому предобучению (unsupervised pre-training) «неактуальным» для нынешней революции ИИ [3:04]. * Шмидхубер утверждает, что еще в 2010 году его команда показала: нейросети прямого распространения могут обучаться обычным методом обратного распространения без всякого предобучения [3:04]. * По мнению Шмидхубера, идеи Хинтона о предобучении были концептуальным повторением его собственных работ по рекуррентным нейросетям [3:21]. Янник Кильхер, анализируя этот спор, замечает, что Шмидхубер технически прав во многих деталях, однако именно работа Хинтона смогла «зажечь» сообщество и привлечь внимание к теме [4:02]. Ведущий полагает, что идеи редко бывают уникальными, но важна также формализация и исполнение [5:20]. ## 👁 Зрительное восприятие и распознавание речи [[JUMP:5:34]] Honda Prize приписывает Хинтону прорыв в распознавании речи (2009 год) и революцию в компьютерном зрении. Это вызывает особое возмущение Шмидхубера: * **Распознавание речи:** По словам Юргена Шмидхубера, это «территория LSTM» (Long Short-Term Memory) — архитектуры, разработанной именно в его группе [5:48]. * **Компьютерное зрение:** Шмидхубер напоминает, что его команда в Швейцарии использовала высокопроизводительные сверточные нейросети на GPU (DanNet) и побеждала в конкурсах еще до знаменитой AlexNet [6:14]. Янник Кильхер подтверждает, что DanNet Шмидхубера действительно «разносила конкурентов», но AlexNet в 2012 году на ImageNet стала тем самым моментом «вау», который показал всему миру потенциал глубокого обучения, снизив частоту ошибок на 30% [6:40]. Ведущий считает, что академический приоритет в статьях — это не единственное, что двигает прогресс [7:12]. ## ✂️ Dropout: изобретение или ребрендинг? [[JUMP:7:12]] Премия также отмечает Хинтона за создание метода Dropout, помогающего бороться с переобучением нейросетей [7:25]. Юрген Шмидхубер утверждает: * Идея случайного исключения частей системы для повышения её надежности не нова [7:38]. * Он ссылается на существовавшее ранее «стохастическое дельта-правило» [7:53]. * По мнению Шмидхубера, Хинтон просто дал методу удачное имя, которое «приклеилось», не упомянув при этом предшественников [7:53]. ## ⚔️ Личные выпады и «войны» в Wikipedia [[JUMP:9:45]] В ответ на публикацию Шмидхубера Джеффри Хинтон заявил, что публичные дебаты с Юргеном — затея бессмысленная, так как это лишь «поощряет его тратить бесконечное время на попытки дискредитировать своих мнимых соперников» [10:11]. Хинтон выдвинул серьезные обвинения против стиля ведения дискуссий Шмидхубера: * Хинтон утверждает, что Юрген якобы использует множество псевдонимов в Wikipedia, чтобы создавать видимость поддержки своих идей другими людьми [10:11]. * В качестве примера странного поведения Шмидхубера Хинтон привел его попытки преуменьшить роль Алана Тьюринга [10:24]. * В завершение Хинтон съязвил, предложив Юргену «прояснить ситуацию с тем, кто на самом деле изобрел LSTM» (намекая, что основным автором был Зепп Хохрайтер) [12:15]. Юрген Шмидхубер в ответной реплике назвал слова Хинтона классической «атакой ad hominem» (нападением на личность), которая никак не опровергает приведенные им технические факты [13:32]. Он настаивает: если Хинтон согласен, что формулировки Honda ложны, он обязан попросить компанию исправить их, а не принимать премию на таких условиях [15:25]. ## 🏁 Резюме: Научная этика против практического вклада [[JUMP:17:44]] Подводя итог, Янник Кильхер полагает, что оба ученых в чем-то правы, но они говорят на разных языках. Шмидхубер фокусируется на строгом академическом приоритете — кто первым зафиксировал идею на бумаге. Хинтон же делает упор на том, чьи работы реально заработали и вдохновили других на создание технологий [18:00]. По мнению Кильхера, такие дискуссии необходимы науке, чтобы держать поле в тонусе, даже если методы Шмидхубера кажутся иногда чрезмерными [18:41].