Ведущий популярного YouTube-канала об искусственном интеллекте Янник Кильчер (Yannic Kilcher) представил критический разбор изменений в процессе подачи научных работ на конференцию NeurIPS 2020. По мнению автора, новые правила, направленные на борьбу с кризисом рецензирования, могут привести к снижению качества науки и усилению позиций крупных корпораций за счет независимых исследователей.
🧐 Проблема «деск-реджектов» и кризис рецензирования 0:27
Одним из ключевых нововведений NeurIPS стала легализация системы предварительного отклонения работ (desk rejections) . Теперь председатели секций (Area Chairs, AC) имеют право отсеивать статьи еще до того, как они попадут на полноценное рецензирование, если считают, что работа не имеет шансов на прохождение.
Янник Кильчер отмечает несколько проблем в этом подходе:
- Низкая прогностическая способность: Эксперимент прошлого года показал, что председатели секций плохо предсказывают, какие работы будут отвергнуты рецензентами .
- Причины отклонения: По мнению Янника Кильчера, при «деск-реджекте» статью вряд ли читают глубоко . Причиной могут стать опечатки в аннотации или структурные ошибки, даже если сама научная идея ценна.
- Цель изменений: Основной мотив организаторов — снизить нагрузку на рецензентов в условиях взрывного роста количества заявок в области машинного обучения .
⛓️ Обязательное рецензирование для всех соавторов 2:13
Согласно новым правилам, все авторы поданных работ обязаны быть готовы выступить в роли рецензентов других статей, если их об этом попросят . Янник Кильчер считает это решение «движением в неверном направлении» и прогнозирует ряд негативных последствий:
- Снижение качества отзывов: Исследователи, которых принуждают к неоплачиваемой и не поощряемой работе, склонны писать поверхностные «отписки» в две строчки .
- Проблема некомпетентности: В число соавторов часто входят магистранты, занимающиеся лишь предобработкой данных, или внешние консультанты. По мнению ведущего, такие люди не обладают достаточной квалификацией для оценки узкоспециализированных работ в области ML .
- Отсутствие стимулов: Поскольку качественное рецензирование никак не вознаграждается, система принуждения лишь плодит «мусорные» отзывы .
Янник Кильчер высказывает радикальное мнение о том, что в области компьютерных наук традиционный процесс рецензирования (peer review) стоит вообще отменить, заменив его принципиально иной моделью .
♻️ Маркировка повторных подач 4:16
Если работа подается повторно после отклонения в течение последних 12 месяцев, авторы обязаны это указать и перечислить изменения, внесенные в текст .
Янник Кильчер утверждает, что при текущем низком качестве рецензирования это требование бессмысленно. По его словам, часто работы отклоняются по «нелепым причинам», не связанным с качеством науки (например, из-за плохого настроения рецензента) . В результате авторам приходится раздувать описание правок, чтобы оправдать переподачу, что создает лишнюю бюрократическую нагрузку .
🌍 Этика и социальное влияние: наука или PR? 5:51
В системе подачи работ появился новый раздел, где авторы должны описать этические аспекты и потенциальное влияние их работы на общество .
Критика Янника Кильчера:
- Сложность оценки для фундаментальных работ: Если вы разрабатываете алгоритм оптимизации третьего порядка, его прямое влияние на общество описать крайне сложно .
- «Virtue Signaling» (демонстрация добродетели): По мнению автора, раздел превратится в площадку для самовосхваления, где ученые будут просто убеждать всех, насколько полезны их разработки .
- Переход от науки к PR: Этот процесс смещает фокус с поиска научной истины на связи с общественностью .
- Неравенство ресурсов: У крупных корпораций есть возможности нанять отдельных людей для написания таких разделов и проведения тестов на этичность, в то время как малые университеты и независимые исследователи лишены этого ресурса .
📹 Видеопрезентации и доступность контента 8:07
Авторы принятых работ теперь обязаны предоставлять видеоролики, постеры и слайды в открытый доступ . Несмотря на то, что это повышает доступность знаний для тех, кто не смог посетить NeurIPS, Янник Кильчер видит и здесь риски превращения науки в индустрию развлечений.
- Кликбейтная наука: Ролики позволяют авторам еще больше «украшать» результаты своей работы, игнорируя критические замечания рецензентов, которые обязательны для текста статьи .
- Отсутствие контроля: В отличие от текста статьи, финальное видео никто не рецензирует перед публикацией .
- Преимущество брендов: Крупные компании могут позволить себе качественный видеопродакшен, что дает им фору в привлечении внимания сообщества, тогда как у одиночных исследователей может не быть даже подходящего осветительного оборудования .
