В новом выпуске подкаста Machine Learning Street Talk ведущий Тим Скарф беседует с Максом Веллингом, профессором Амстердамского университета и вице-президентом Qualcomm по исследованиям в области ИИ. В центре дискуссии — переход от «чистого листа» в машинном обучении к использованию глубоких физических принципов: симметрий, топологий и квантовой механики, которые позволяют моделям обобщать знания эффективнее, чем простое увеличение объёма данных.
🧬 Геометрическое глубокое обучение: за пределами евклидова пространства 1:03
Макс Веллинг считается одним из первопроходцев дисциплины неевклидова геометрического глубокого обучения . По его словам, традиционное машинное обучение заточено под «сетки» (изображения) или «цепочки» (текст и аудио), которые являются евклидовыми структурами. Однако реальный мир сложнее: данные могут существовать на сферах, графах или многообразиях (manifolds) с произвольной кривизной .
Основная идея геометрического обучения заключается в абстрагировании понятий:
- Расстояние: вместо евклидовой метрики используется связность (например, в социальных графах) .
- Окрестность: становится функцией топологии объекта, будь то молекула белка или погодные паттерны на поверхности планеты .
Тим Скарф отмечает, что без учета этих структур нейросети тратят огромные вычислительные мощности впустую, заново обучаясь распознавать один и тот же объект в разных частях поля зрения. Использование «индуктивного смещения» (inductive prior) позволяет заложить в архитектуру знание о мире, делая модели более эффективными в плане выборки (sample efficient) .
🧪 Успех AlphaFold 2 и роль симметрий SE(3) 4:43
Одним из самых ярких подтверждений эффективности подходов Макса Веллинга стал успех системы AlphaFold 2 от DeepMind в предсказании структуры белков . Тим Скарф подчеркивает, что эта задача считалась нерешенной 50 лет, и DeepMind смогла доминировать в конкурсе CASP именно благодаря геометрическому подходу .
Ключевые технические аспекты успеха AlphaFold 2, по мнению участников беседы:
- Эквивариантность: модель учитывает, что при вращении или перемещении белка в пространстве его физические свойства не меняются (группа симметрии SE(3)) .
- SE(3)-трансформеры: использование внимания (attention), которое инвариантно к непрерывным трехмерным вращениям и сдвигам .
- Физические инсайты: DeepMind внедрила знания о физике белков непосредственно в структуру сети, а не только в процесс обработки данных .
Макс Веллинг утверждает, что симметрии пронизывают все теории физики и их использование в ML — это не просто мода, а фундаментальный сдвиг в сторону создания более надежных систем .
⚛️ Квантовое машинное обучение: новая теория статистики 20:12
Макс Веллинг предлагает смотреть на квантовую механику не только как на физику частиц, но и как на альтернативную теорию статистики . В обычном ИИ мы используем вероятности. В квантовом подходе расчеты ведутся с «амплитудами» — своего рода квадратными корнями из вероятностей, которые могут быть отрицательными .
Особенности квантовых нейросетей по Веллингу:
- Интерференция событий: в классической вероятности шансы событий всегда складываются, в квантовой — амплитуды могут гасить друг друга, обнуляя вероятность события .
- Запутанность (Entanglement): создание состояний, которые невозможно описать классически, что дает новые степени свободы для представления данных .
- Квантово-деформированные нейросети: Веллинг недавно опубликовал работу, описывающую архитектуры, которые могут эффективно симулироваться на классических компьютерах сейчас, но раскроют полную мощь на квантовом железе в будущем .
Веллинг признает, что пока неясно, будут ли квантовые нейросети лучше классических в обычных задачах предсказания, но считает это направление «критически важным для исследования» .
📈 Непрерывные CNN и отказ от пикселей 23:00
В совместной работе с Марком Финзи и Роберто Бондерсоном Веллинг представил «Вероятностные численные сверточные нейросети» (Probabilistic Numeric CNNs) . Ученый утверждает, что привычка воспринимать изображения как сетку пикселей ошибочна — это лишь дискретная выборка непрерывного сигнала .
Предложенный механизм включает:
- Гауссовские процессы: используются для интерполяции между точками данных и оценки неопределенности там, где данных мало .
- Дифференциальные уравнения (PDE): свертка переосмысливается как решение частного дифференциального уравнения, что позволяет работать с данными, расположенными в пространстве случайным образом, а не по сетке .
- Субпиксельное сэмплирование: возможность делать предсказания на разреженных данных, фокусируя внимание (наблюдения) там, где это нужнее всего для точности .
🧠 Спор о «Чистом листе» (Blank Slate) и AGI 16:22
В сообществе ИИ существует раскол. С одной стороны — сторонники подхода «чистого листа» (как Рич Саттон), верящие, что только масштабирование вычислений и данных приведет к сильному ИИ (AGI). С другой — такие исследователи, как Уалид Сабба и Гэри Маркус, призывающие внедрять в модели структуру мира и онтологии .
Позиция Макса Веллинга в этом споре:
- Неизбежность допущений: «Без предположений (priors) не существует машинного обучения». Интерполяция между точками данных всегда требует допущения о гладкости функций .
- Причинно-следственные связи (Causality): Веллинг убежден, что для истинного обобщения модели должны понимать физику мира. Он приводит пример: корреляция между цветом машины и аварийностью в Нидерландах не поможет в другой стране, но уровень тестостерона как биологический фактор — это причинная связь, которая универсальна .
- Генеративные модели: Будущее интеллекта — в способности мозга симулировать реальность («матрица внутри головы»), проигрывая сценарии будущего и обучаясь на них .
🏛️ Кризис научной культуры и «Лотерея оборудования» 18:24
Макс Веллинг и Тим Скарф затронули тему системных проблем в современной науке. Веллинг отмечает, что процесс рецензирования (peer review) стал слишком консервативным и «ворчливым» .
Основные тезисы критики:
- Групповое мышление: Консенсусная модель рецензирования поощряет сближение мнений (convergent behavior) и убивает оригинальные, но сырые идеи .
- Hardware Lottery: Ссылаясь на Сару Хукер, участники обсуждают, как текущая архитектура GPU диктует, какие идеи выживут. Например, капсульные сети Джеффри Хинтона медленны на текущем железе, что тормозит их развитие, хотя сама интуиция может быть верной .
- Необходимость диспозиции: Веллинг призывает к переходу на модель «открытого рецензирования» (как в OpenReview), где рецензия сама по себе является научной ценностью, а репутация рецензента публична .
Макс Веллинг дает совет молодым исследователям: придерживаться «смешанной стратегии» — делать часть работ на популярные темы для карьеры, но обязательно выделять время на рискованные, оригинальные проекты, которые могут стать прорывом через 5-10 лет .
