В новом выпуске Machine Learning Street Talk исследователь в области ИИ и профессор Амстердамского университета Макс Веллинг (Max Welling) рассказывает о том, почему современным нейросетям не хватает «здравого смысла» физики, как квантовая механика изменит алгоритмы обучения и почему научное сообщество должно отказаться от диктатуры конференций.
🧬 Геометрическое глубокое обучение и успех AlphaFold 2 1:03
Макс Веллинг считается одним из пионеров геометрического глубокого обучения. Суть этого направления заключается в работе с данными, которые не вписываются в привычную евклидову сетку (как пиксели изображения), а имеют более сложную структуру: графы социальных связей, погодные паттерны на сфере или молекулярные соединения .
Ключевым прорывом в этой области стало использование индуктивных смещений (inductive biases). Если обычные сверточные нейросети (CNN) используют симметрию переноса (собака в левом углу — та же собака, что и в правом), то Макс Веллинг внедрил в модели более сложные симметрии, такие как вращение и зеркальное отражение .
Важность этих методов подтвердилась триумфом системы AlphaFold 2 от DeepMind. По словам Веллинга и ведущих, успех модели в предсказании структуры белков (задачи, не решавшейся 50 лет) напрямую связан с использованием эквивариантных трансформеров .
- Белок рассматривается как пространственный граф.
- Архитектура модели учитывает физические ограничения вращения и перемещения атомов в 3D (группа симметрии SE(3)).
- Вместо того чтобы заставлять нейросеть «выучивать» законы физики с нуля, исследователи «вшили» их в саму структуру сети через индуктивные смещения .
⚛️ Квантовые нейросети: статистика против интуиции 20:12
Макс Веллинг утверждает, что квантовые вычисления радикально изменят ландшафт машинного обучения, но не только за счет скорости «железа». По его мнению, квантовая механика — это, прежде всего, иная теория статистики .
Главное отличие квантовой логики от классической:
- Классика: Мы работаем с вероятностями (от 0 до 1). Если есть два пути для события, вероятности складываются.
- Квант: Мы работаем с амплитудами (похожими на квадратные корни из вероятностей). Амплитуды могут быть отрицательными .
- Эффект: События могут «аннигилировать» или отменять друг друга. Если два пути имеют амплитуды +2 и -2, вероятность события может внезапно стать нулевой .
Веллинг представил свою новую работу «Квантовые деформированные нейронные сети» (Quantum Deformed Neural Networks). Это архитектуры, которые:
- Учитывают явление спутанности (entanglement) состояний параметров и данных .
- Могут имитироваться на классических компьютерах .
- Полностью раскроют свой потенциал только с появлением реальных квантовых процессоров, позволяя решать задачи, которые сейчас требуют экспоненциальных вычислений .
📏 Переход от пикселей к непрерывному сигналу 23:00
Традиционное компьютерное зрение воспринимает мир как сетку дискретных пикселей. Макс Веллинг считает это ограничением и предлагает рассматривать изображения как выборки из непрерывного сигнала. В статье «Probabilistic Numeric Convolutional Neural Networks» он описывает подход, использующий гауссовские процессы .
Преимущества такого метода:
- Возможность работать с неструктурированными данными (когда точки замера распределены случайно, а не по сетке) .
- Моделирование неопределенности: там, где данных мало, сеть честно «сообщает», что не уверена в сигнале .
- Использование аппарата дифференциальных уравнений в частных производных (PDE) для описания сверток. Это позволяет нейросети вести себя как физическая система, плавно эволюционирующая во времени и пространстве .
🏛️ Проблема «научного гетто» и диктатура рецензирования 18:39
Веллинг и ведущие Machine Learning Street Talk выразили обеспокоенность состоянием современной науки об ИИ. По их мнению, система рецензирования на конференциях (NeurIPS, ICML) страдает от «завистливости» и подавляет оригинальные идеи .
Критикуемые аспекты научной среды:
- Конвергентное поведение: Исследователи боятся рисковать и выбирают темы, которые гарантированно пройдут через фильтры рецензентов (эксплуатация вместо исследования) .
- Hardware Lottery: Термин Сары Хукер, описывающий ситуацию, когда идеи выживают не потому, что они лучше, а потому, что они лучше работают на текущих видеокартах GPU .
- Статичность: Публикация в PDF считается финальной точкой, хотя наука должна быть непрерывным процессом .
Макс Веллинг предлагает решение:
- Переход на платформы типа Open Review, где рецензии публичны, подписаны именами авторов и сами имеют ценность как научные работы .
- Система «урожаев» (harvesting): авторы выкладывают работы на ArXiv в режиме реального времени, а конференции лишь раз в полгода «собирают» лучшие из них для презентаций, не являясь единственным источником истины .
🔮 Будущее: причинность против Big Data 13:21
В споре о том, можно ли достичь сильного ИИ (AGI) простым масштабированием данных и вычислительных мощностей, Макс Веллинг занимает сторону «умеренных скептиков». Он признает мощь GPT-3, но считает, что без понимания причинно-следственных связей (causality) модели всегда будут хрупкими .
Иллюстрация Веллинга о корреляции и причинности:
- В Нидерландах определенный цвет автомобиля может коррелировать с аварийностью из-за местных культурных привычек. Эта модель сломается в другой стране .
- Уровень тестостерона — физический фактор, влияющий на риск агрессивного вождения. Эта закономерность будет верна везде .
По словам Веллинга, путь к настоящему интеллекту лежит через генеративные модели, которые не просто предсказывают следующий токен, а симулируют физику мира внутри «цифрового мозга», подобно тому как люди проигрывают сценарии будущего в воображении .
