Открытие символьных моделей из глубокого обучения с помощью индуктивных смещений 🧠 0:00
Исследователи представили новый метод автоматического вывода физических законов из экспериментальных данных. Работа, рассмотренная Янником Кильхером, описывает двухэтапный процесс, сочетающий возможности графовых нейронных сетей (GNN) и символьной регрессии. По мнению автора канала, этот подход эффективен, так как позволяет превратить «черный ящик» нейросети в интерпретируемую формулу, описывающую поведение физических систем.
🔍 Двухэтапный путь к формуле 8:22
Основная проблема поиска физических законов через символьную регрессию — огромный объем пространства поиска: система пытается перебирать бесконечное количество комбинаций символов и констант. Авторы статьи предлагают сократить путь с помощью промежуточного этапа:
- Числовая аппроксимация (GNN): Сначала обучается графовая нейронная сеть для предсказания динамики системы. В отличие от символьной регрессии, нейросети отлично предсказывают численные значения (например, ускорение) на основе данных о положении и скорости частиц.
- Символьное извлечение: Как только GNN успешно описывает физическую систему, исследователи применяют символьную регрессию непосредственно к «внутренностям» обученной сети, чтобы извлечь из неё аналитическую формулу.
Этот метод упрощает задачу, так как нейросеть уже «выучила» закономерности данных, и символьной регрессии остается лишь аппроксимировать уже готовое, компактное решение.
🕸 Графовые сети и физика частиц 9:33
Использование графовых сетей продиктовано тем, что их структура естественным образом соответствует законам физики. В этой архитектуре:
- Вершины — это частицы системы.
- Ребра — взаимодействие между каждой парой частиц (например, сила гравитации).
Ключевым преимуществом авторы называют индуктивное смещение: большинство физических систем можно описать как сумму независимых парных взаимодействий. Графовая сеть, где каждое ребро вычисляет вклад одной пары независимо от остальных, идеально «ложится» на этот принцип. Янник Кильхер отмечает, что такая архитектура значительно сужает область поиска для символьной регрессии.
📉 Регуляризация и поиск закономерностей 34:14
Чтобы нейросеть не «зашумляла» решение лишними данными, исследователи используют L1-регуляризацию. Это принудительно делает скрытые представления (векторы состояний) разреженными — сеть «поощряется» использовать как можно меньше переменных для описания сил.
Когда сеть обучена, ученые могут проанализировать, какие измерения (компоненты вектора) имеют наибольшую стандартную дисперсию, и именно в них часто «прячется» физический закон. Как поясняет Кильхер, если между выходами сети и известными физическими величинами наблюдается линейная зависимость, это подтверждает, что сеть успешно закодировала истинный закон природы.
🌌 Результаты и новые горизонты 40:21
Система успешно восстановила известные законы, например, для систем с пружинами. Более того, метод справился даже с задачами, где поведение силы претерпевает разрывы (например, через условие «if»), что доказывает гибкость подхода.
В области космологии авторам удалось обнаружить ранее неизвестное уравнение, описывающее распределение темной материи в гало. Несмотря на то, что символьные уравнения могут выглядеть иначе из-за физических симметрий (вращений, преобразований координат), они эквивалентны человеческим формулам, что делает подход крайне перспективным для фундаментальной науки.
