В новом выпуске ML News Янник Килчер разбирает громкий скандал с плагиатом на конференции ICCV, критикует масштабный манифест Стэнфорда о «фундаментальных моделях» и иронизирует над анонсом человекоподобного робота Tesla. Главными темами стали этика научных публикаций, попытки ребрендинга давно известных технологий и новинки в области аппаратного обеспечения для ИИ.
🚨 Скандал в научном сообществе: плагиат на ICCV 3:07
В центре внимания оказался инцидент с копированием научной работы, который Янник Килчер называет «вопиющим случаем» . Конфликт развернулся вокруг двух работ: оригинальной статьи «Momentum Residual Neural Networks» (авторы из DeepMind, CNRS и Google Research) и статьи-клона под названием «M-RedNet: Deep Reversible Neural Networks with Momentum» .
По словам Янника Килчера, сходство между работами было настолько очевидным, что вторая статья казалась просто переформулированным вариантом первой .
Ключевые факты инцидента:
- Механика плагиата: Авторы второй работы, по мнению Килчера, взяли открытый код оригинала, изменили гиперпараметры и случайные числа (seed), после чего переписали текст, сохранив структуру и даже визуализацию экспериментов .
- Публичная огласка: После того как Янник и его сообщество связались с авторами оригинала, исследователь Диа Абла (Dia Abla) опубликовал в Twitter пошаговое сравнение двух статей .
- Реакция обвиняемого: Автор второй статьи сначала удалил свою домашнюю страницу и отозвал работу из архива, сославшись на «случайное совпадение идей» . Однако под давлением общественности позже признал факт плагиата и принес извинения .
Янник Килчер отмечает, что подобные случаи в машинном обучении часто остаются незамеченными . По его мнению, в данном случае плагиат был настолько «наглым», что автору не удалось оправдаться стандартными фразами о «похожих идеях» . В итоге конференция ICCV официально подтвердила, что работа не будет опубликована .
🏛️ Stanford HAI и попытка захвата терминологии: Foundation Models 11:57
Стэнфордский институт ИИ (Stanford HAI) выпустил массивный 200-страничный документ под названием «On the Opportunities and Risks of Foundation Models» . В написании участвовало огромное количество сотрудников университета, что вызвало у Янника Килчера скепсис относительно авторства.
Критика Янника Килчера:
- Проблема авторства: По мнению ведущего, это не цельная научная работа, а «компендиум» или сборник статей . Он утверждает, что над разными секциями работали разные группы людей, и общая цитируемость всех авторов за чужие разделы кажется ему «игрой с академической системой цитирований» .
- Ребрендинг старого: Килчер полагает, что термин «Foundation Models» (фундаментальные модели) — это просто попытка переименовать уже существующие большие предобученные модели (такие как BERT, GPT-3 или CLIP) .
- Размытость определений: Янник считает определение «фундаментальной модели» слишком широким. Если под него подпадает GPT-3, то, по его логике, туда же должна относиться и классическая архитектура ResNet-50, обученная на ImageNet .
Ведущий подчеркивает, что выводы в статье часто не вытекают из самого определения. Например, риски потери доступности или вреда экологии обсуждаются как свойства «фундаментальных моделей», хотя, по мнению Килчера, это лишь особенности конкретных реализаций современных LLM, а не обязательное следствие определения .
🤖 Tesla AI Day: от суперкомпьютеров до танцоров в трико 21:40
Мероприятие Tesla AI Day запомнилось не только техническими деталями, но и экстравагантным анонсом Tesla Bot.
Основные тезисы обсуждения:
- Tesla Bot: Илон Маск представил концепт гуманоидного робота для выполнения «опасных, повторяющихся и скучных задач» . Янник Килчер называет презентацию «на 100% уморительной», особенно момент, когда на сцену вышел человек в костюме робота и начал танцевать .
- Реалистичность сроков: По мнению Килчера, обещания Маска создать прототип в течение года, скорее всего, являются «сверх-обещаниями», которые не будут выполнены в срок .
- Dojo и FSD: Tesla подробно рассказала о своих успехах в области обучения нейросетей для автопилота, однако Янник рекомендует посмотреть обзор Лекса Фридмана для более глубокого погружения в эти детали .
Параллельно с успехами Tesla упоминается проект Comma 3 от Джорджа Хотца. В отличие от закрытой экосистемы Tesla, Comma придерживается принципов Open Source, предлагая сообществу разработчиков участвовать в создании систем помощи водителю .
🔌 Новости аппаратного обеспечения: Intel уходит, IBM наступает 24:50
В мире «железа» для ИИ произошли важные перестановки. Intel объявила о сворачивании подразделения RealSense, которое занималось разработкой 3D-камер и сенсоров .
Контекст событий:
- Intel: Компания планирует сосредоточиться на «основном бизнесе» . Янник отмечает, что для потребителей это сигнал: Intel больше не является местом для поиска инновационного оборудования для компьютерного зрения .
- IBM: Напротив, компания представила новый чип Telum — процессор со встроенным ИИ-акселератором (матричным множителем) . Идея IBM заключается в том, чтобы приблизить вычисления непосредственно к данным .
🎮 ИИ в спорте и играх 20:48
Facebook AI Research опубликовала работу о стратегиях управления персонажами в соревновательных видах спорта (например, боксе) в симулированной среде .
Наблюдения Килчера:
- Алгоритмы обучения с подкреплением (RL) смогли выработать сложные политики контроля для гуманоидов с большим количеством степеней свободы .
- Ведущего впечатлило, как агенты учатся держать баланс и одновременно проводить атаки, что технически является крайне сложной задачей .
Также упоминаются новые соревнования на Kaggle, такие как «Lux AI» (сбор ресурсов в условиях выживания) и «Neural MMO», где агенты взаимодействуют в огромном открытом мире с множеством других игроков .
🧐 Проблемы в области Multi-Agent RL 27:45
Янник обратил внимание на дискуссию в Reddit, где исследователи жалуются на «нечестные приемы» в статьях по многоагентному обучению с подкреплением (MARL) на топовых конференциях .
Суть претензий, озвученных в сообществе:
- Слабые бейзлайны: Авторы якобы специально используют плохо настроенные базовые модели для сравнения, чтобы их собственная модель выглядела выигрышно .
- Шумные эксперименты: Из-за отсутствия стандартизации и высокой зашумленности результатов в этой области легко манипулировать данными .
- Flashy papers: По мнению участников обсуждения, работы с надежными экспериментами часто не проходят рецензирование, уступая место «ярким» статьям с сомнительными результатами .
