В 2020 году одна из крупнейших конференций по искусственному интеллекту, NeurIPS, ввела обязательное требование: авторы научных работ должны включать раздел о «широком влиянии» (Broader Impact) своих исследований. Популяризатор науки и ИИ-исследователь Янник Килчер разбирает, почему это благородное начинание на практике превращается в бюрократический лабиринт, создающий несправедливые условия для независимых ученых.
📋 Новые правила NeurIPS: Этический фильтр 0:00
Конференция NeurIPS 2020 года обязала авторов обсуждать потенциальные социальные последствия своих работ — как позитивные, так и негативные. По словам Майкла Липпмана, председателя по коммуникациям NeurIPS 2020, эти заявления будут публиковаться вместе с каждой статьей, но появятся только в финальных (camera-ready) версиях, чтобы не нарушать принцип двойного слепого рецензирования.
Основные положения регламента включают:
- Обязательность: Раздел должен быть заполнен, за исключением чисто теоретических работ, где автор может указать, что это неприменимо.
- Оценка: Рецензенты оценивают техническое качество статьи, но также должны подтвердить, «адекватно» ли прописан раздел о влиянии.
- Санкции: Сама по себе статья не может быть отклонена только из-за раздела о влиянии, однако она может быть отклонена по этическим соображениям.
Янник Килчер отмечает странность этой системы: если раздел о влиянии не влияет на техническую оценку, но при этом может стать поводом для направления статьи к экспертам по этике, возникает «смешанный сигнал» о реальной значимости этого текста.
🔄 Противоречия в процессе оценки 4:56
Рецензентам предлагается ответить на два ключевых вопроса: адекватно ли авторы описали влияние своей работы и вызывает ли исследование этические опасения. По мнению Килчера, здесь кроется логическое противоречие:
- Официально рецензенты не должны снижать общую оценку за содержание раздела о влиянии.
- Однако, если рецензент считает раздел «неадекватным», он может сигнализировать об этических проблемах.
- В этом случае статью передают «чрезвычайным рецензентам» с экспертизой в области этики и машинного обучения, которые имеют право рекомендовать отклонение работы.
В ироничном воображаемом диалоге с организаторами Килчер подчеркивает абсурдность ситуации: раздел не должен влиять на оценку, но на его основе статью могут отвергнуть.
⚖️ Проблема стимулов и ресурсов 9:56
Особое внимание автор уделяет стимулам «специальных рецензентов» по этике. По мнению Килчера, если такие эксперты не будут находить проблем, их деятельность могут признать бесполезной и упразднить, что создает мотивацию искать нарушения там, где их может не быть.
Ситуация усугубляется рекомендациями Брента Хехта, на которые ссылается NeurIPS. Хехт утверждает, что понимание социального влияния — это тяжелый труд, и советует исследователям:
- Изучать обширную литературу по социологии и этике ИИ.
- Нанимать социальных ученых в свои исследовательские группы.
- Привлекать профильных специалистов как PhD-студентов или консультантов.
Килчер считает этот подход дискриминационным по отношению к обычным аспирантам. В то время как крупные корпорации (например, Google или Meta) могут позволить себе целые штаты этиков, одиночный исследователь или небольшая университетская лаборатория вынуждены тратить драгоценное время на изучение непрофильной литературы вместо науки. По мнению Янника, это дает преимущество богатым институтам, способным «красиво упаковать» даже самое спорное исследование.
🧮 Теоретическая наука и «эффект огня» 13:24
Для теоретиков ситуация выглядит не менее запутанной. Хотя официально им разрешено писать «неприменимо», неофициальные рекомендации советуют «найти что-то значимое». Аргумент в пользу этого: раз вы получили грант, значит, кто-то когда-то обосновал социальную пользу вашей теории.
Килчер критикует чрезмерную «цепочку причинно-следственных связей», которую требуют от ученых. В качестве примера он приводит требования к разработчикам GPU-чипов:
- Их просят подумать о том, что более мощные чипы позволяют корпорациям собирать больше данных.
- От них ожидают предложений по улучшению политик вроде GDPR.
Янник называет это «безумием», проводя аналогию с первобытным человеком:
«Представьте пещерного человека Но-но, который изобрел огонь. Огонь помогает готовить еду и развивать цивилизацию, что в итоге приводит к созданию GPU, сбору данных и рекламе наклеек для груди. Должен ли был Но-но написать Broader Impact Statement о вреде таргетированной рекламы при изобретении огня?»
🏁 Итоги: Бюрократия против науки 21:50
В конечном итоге, по мнению Килчера, большинство таких заявлений сведется к банальностям о том, что «любую технологию можно использовать во благо и во вред». В качестве примера он приводит статью о сверхчеловеческом ИИ для покера, где авторы просто указали, что их разработка может помочь как честным гражданам, так и преступникам.
Автор упоминает Джо Редмана, создателя алгоритма YOLO, который публично отказался от исследований в области компьютерного зрения из-за опасений военного использования его разработок. Однако Килчер сомневается, что на это решение повлияла необходимость писать формальные отчеты для конференций.
Янник резюмирует, что хотя задумка может показаться полезной, на деле она лишь перекладывает бремя ответственности на ученых и создает преимущество для крупных игроков, не решая фундаментальных этических проблем индустрии.
