Будущее графовых нейронных сетей: от симметрий к теории категорий и алгоритмическому мышлению 0:00
Петар Величкович, штатный научный сотрудник DeepMind и один из ведущих исследователей в области глубокого обучения, представил комплексный взгляд на эволюцию графовых нейронных сетей (GNN). В беседе с каналом Machine Learning Street Talk он объяснил, как теория категорий помогает преодолеть ограничения существующих методов геометрического глубокого обучения и почему «алгоритмическое мышление» является ключом к созданию по-настоящему надежного ИИ.
📐 За пределами симметрий: почему нужна теория категорий 1:16
Традиционное геометрическое глубокое обучение опирается на понятие симметрии, работая с преобразованиями, которые сохраняют структуру объекта, будучи при этом обратимыми и композиционными. Однако, по мнению Величковича, природа и алгоритмы часто ведут себя иначе:
- Ограниченность симметрий: Операции в алгоритмах часто необратимы (например, сокращение данных), что делает классический групповой подход к симметриям недостаточным.
- Теория категорий как язык: Величкович и его коллеги (Майкл Бронштейн, Ян Бруна, Тако Коэн) рассматривают теорию категорий как естественное расширение, позволяющее описывать более общие преобразования данных.
- Практическая польза: Исследователи используют этот аппарат не просто как абстракцию, а как «контроль типов» для нейронных сетей, позволяющий выявлять логические ошибки в архитектуре GNN, когда, например, одна и та же информация ошибочно используется для совершенно разных задач (прогнозы по ребрам и узлам).
По словам исследователя, разделение потоков данных в GNN на основе этого анализа дает значительный прирост производительности при экстраполяции на новые данные.
🧠 Алгоритмическое мышление: «Программное обеспечение 2.0» 14:48
Алгоритмическое мышление (algorithmic reasoning) — это попытка научить нейронные сети выполнять классические алгоритмы (например, поиск кратчайшего пути или сортировку) внутри их скрытого пространства (latent space).
- Фундамент рассуждений: Величкович считает, что освоение базовых алгоритмов, знакомых каждому инженеру, позволяет сети имитировать полиномиальные вычисления, что критически важно для надежной экстраполяции.
- Кейс Google Maps: Вместо того чтобы полагаться на ручное проектирование признаков, DeepMind использует GNN, предварительно обученные выполнять алгоритм Дейкстры в скрытом пространстве. Это позволяет системе напрямую переходить от «шумных» данных с мобильных телефонов к построению маршрутов, минуя стадию сложной человеческой предобработки.
Величкович подчеркивает, что современные большие модели (System 1) и GNN, способные выполнять четкие алгоритмические шаги (System 2), должны быть объединены в единую архитектуру будущего.
🌐 Решение проблемы «овер-сквошинга» (Over-squashing) 29:42
На конференции NeurIPS Величкович представил работу, вошедшую в топ-10 по оценкам рецензентов, посвященную решению фундаментальной проблемы графовых сетей — «овер-сквошинга».
- Суть проблемы: В графах с узкими местами (bottlenecks) информация от удаленных узлов с трудом доходит друг до друга, требуя экспоненциального роста размерности пространства признаков.
- Решение — экспандеры: Исследователи предложили пропагировать информацию через «графы-экспандеры» — структуры из теории графов, обладающие очень низкой плотностью «узких мест».
- Результаты: Заменяя часть слоев GNN на слои, работающие по топологии экспандера, команде удалось значительно улучшить качество обучения без увеличения количества параметров.
Комментируя работы других групп по анализу кривизны графов, Величкович отметил: их математическое доказательство подтверждает, что при попытке создать разреженные графы без «узких мест» неизбежно появление зон с отрицательной кривизной. Дальнейшее исследование этой «серой зоны» он считает одной из важнейших задач для сообщества.
