🧠 ИИ в математике: прорыв или инструмент? 3:10
DeepMind представил результаты исследования, опубликованного в журнале Nature, посвященного использованию искусственного интеллекта для совершения фундаментальных математических открытий. Янник Кильхер пригласил для обсуждения темы внешнего корреспондента Маркуса Беттинга, чтобы прояснить, не заменят ли алгоритмы математиков в ближайшем будущем.
По словам Маркуса Беттинга, роль ИИ заключается не в самостоятельном доказательстве теорем, а в выявлении скрытых паттернов, которые человеческий разум может упустить. Алгоритм обучается отображать функцию между двумя величинами, и если он справляется лучше случайного выбора, это указывает на наличие закономерности.
Ключевые этапы работы включают:
- Гипотеза: Человек-математик должен предположить связь между величинами.
- Анализ: Машина обучается и применяет методы интерпретируемости для поиска скрытых зависимостей.
- Формулировка: Результаты возвращаются человеку для осмысления, формулировки теоремы и её окончательного доказательства.
Исследование уже привело к двум публикациям на платформе arXiv. Первая касается связи между алгебраической и геометрической структурами узлов в топологии, вторая — новой стратегии доказательства гипотезы в теории представлений. При этом Маркус Беттинг отмечает, что этот подход применим лишь к тем теоремам, где есть измеримая зависимость между величинами, и не является «решением всей математики».
📉 Microsoft: Эффективность важнее размера 6:39
Microsoft Research анонсировала новую модель серии Turing — TNLRv5, которая устанавливает новые рекорды на бенчмарках GLUE и SuperGLUE. Главная особенность разработки, по мнению ведущего, заключается в смене тренда: вместо простого увеличения количества параметров, инженеры сфокусировались на эффективности.
Технические особенности модели:
- Производительность: Модель обеспечивает сопоставимую эффективность при использовании на 50% меньше параметров, что существенно снижает вычислительные затраты.
- Обучение: Используется сложный метод «деноизинга» (denoising autoencoder), где основной трансформер получает текст, намеренно искаженный вспомогательной моделью, и должен исправить эти ошибки.
- Масштабируемость: Архитектура показывает высокую производительность как в малых, так и в больших конфигурациях.
Янник Кильхер выразил обеспокоенность тем, что Microsoft планирует предоставлять доступ к модели исключительно через платные API в Azure Cognitive Services, а не публиковать веса в открытом доступе. Однако он признал, что появление конкурентов для OpenAI в сфере API-сервисов — это положительный сдвиг, предотвращающий монополию на рынке.
⚖️ Тимнит Гебру и независимые исследования 13:38
Спустя ровно год после ухода из Google, Тимнит Гебру официально запустила собственный исследовательский институт — Distributed AI Research Institute (DAIR). Целью организации заявлено создание пространства для независимых исследований в области ИИ, свободных от влияния крупных корпораций.
Основные детали запуска:
- Финансирование: Институт получил гранты на сумму $3,7 млн от различных фондов.
- Приоритеты: Развитие ИИ для стран с ограниченными ресурсами, работа с маргинализированными сообществами, анализ рисков и вреда технологий на начальных этапах разработки.
- Мнение Кильхера: Ведущий положительно оценивает эту инициативу, отмечая, что вместо критики бигтеха появляется возможность создавать альтернативную среду исследований.
При этом Янник Кильхер задается вопросом, как будет функционировать институт после того, как закончатся средства, и не попытаются ли спонсоры навязывать свои интересы, так как любая финансовая независимость условна.
🛡️ Этика в рецензировании: опыт NeurIPS 2021 21:58
На конференции NeurIPS в 2021 году была значительно расширена процедура проверки этики публикаций. Согласно статистике, из 9122 заявок этическую проверку проходили 265 работ.
Среди частых проблем, выявленных экспертами:
- Использование устаревших наборов данных, которые были отозваны авторами.
- Отсутствие прозрачности в деталях модели или сборе данных.
- Нарушение авторских прав и отсутствие согласования с экспертными советами при работе с людьми.
- Критическое освещение вредоносных приложений, таких как полицейское профилирование.
Из восьми работ, принятых условно при условии внесения правок, все были опубликованы. Одна работа была отклонена, так как исправление выявленных этических нарушений было невозможно в рамках заданных сроков.
Янник Кильхер отмечает, что эксперты часто расходились во мнениях, что создает определенный «шум» в процессе рецензирования. Он высказывает опасение, что конференция начинает занимать политизированные позиции, вместо того чтобы оставаться нейтральной научной площадкой, и призывает сообщество к дальнейшей дискуссии по этому вопросу.
