# Петар Величкович: «Теория категорий — ключ к новому ИИ»

Источник: https://www.youtube.com/watch?v=1lkdWduuN14
Канал: Machine Learning Street Talk
Опубликовано: 08.12.2022

---

## Будущее графовых нейронных сетей: от симметрий к теории категорий и алгоритмическому мышлению
[[JUMP:0:00]]

Петар Величкович, штатный научный сотрудник DeepMind и один из ведущих исследователей в области глубокого обучения, представил комплексный взгляд на эволюцию графовых нейронных сетей (GNN). В беседе с каналом Machine Learning Street Talk он объяснил, как теория категорий помогает преодолеть ограничения существующих методов геометрического глубокого обучения и почему «алгоритмическое мышление» является ключом к созданию по-настоящему надежного ИИ.

### 📐 За пределами симметрий: почему нужна теория категорий
[[JUMP:1:16]]

Традиционное геометрическое глубокое обучение опирается на понятие симметрии, работая с преобразованиями, которые сохраняют структуру объекта, будучи при этом обратимыми и композиционными. Однако, по мнению Величковича, природа и алгоритмы часто ведут себя иначе:

*   **Ограниченность симметрий:** Операции в алгоритмах часто необратимы (например, сокращение данных), что делает классический групповой подход к симметриям недостаточным.
*   **Теория категорий как язык:** Величкович и его коллеги (Майкл Бронштейн, Ян Бруна, Тако Коэн) рассматривают теорию категорий как естественное расширение, позволяющее описывать более общие преобразования данных.
*   **Практическая польза:** Исследователи используют этот аппарат не просто как абстракцию, а как «контроль типов» для нейронных сетей, позволяющий выявлять логические ошибки в архитектуре GNN, когда, например, одна и та же информация ошибочно используется для совершенно разных задач (прогнозы по ребрам и узлам).

По словам исследователя, разделение потоков данных в GNN на основе этого анализа дает значительный прирост производительности при экстраполяции на новые данные.

### 🧠 Алгоритмическое мышление: «Программное обеспечение 2.0»
[[JUMP:14:48]]

Алгоритмическое мышление (algorithmic reasoning) — это попытка научить нейронные сети выполнять классические алгоритмы (например, поиск кратчайшего пути или сортировку) внутри их скрытого пространства (latent space).

*   **Фундамент рассуждений:** Величкович считает, что освоение базовых алгоритмов, знакомых каждому инженеру, позволяет сети имитировать полиномиальные вычисления, что критически важно для надежной экстраполяции.
*   **Кейс Google Maps:** Вместо того чтобы полагаться на ручное проектирование признаков, DeepMind использует GNN, предварительно обученные выполнять алгоритм Дейкстры в скрытом пространстве. Это позволяет системе напрямую переходить от «шумных» данных с мобильных телефонов к построению маршрутов, минуя стадию сложной человеческой предобработки.

Величкович подчеркивает, что современные большие модели (System 1) и GNN, способные выполнять четкие алгоритмические шаги (System 2), должны быть объединены в единую архитектуру будущего.

### 🌐 Решение проблемы «овер-сквошинга» (Over-squashing)
[[JUMP:29:42]]

На конференции NeurIPS Величкович представил работу, вошедшую в топ-10 по оценкам рецензентов, посвященную решению фундаментальной проблемы графовых сетей — «овер-сквошинга».

1.  **Суть проблемы:** В графах с узкими местами (bottlenecks) информация от удаленных узлов с трудом доходит друг до друга, требуя экспоненциального роста размерности пространства признаков.
2.  **Решение — экспандеры:** Исследователи предложили пропагировать информацию через «графы-экспандеры» — структуры из теории графов, обладающие очень низкой плотностью «узких мест».
3.  **Результаты:** Заменяя часть слоев GNN на слои, работающие по топологии экспандера, команде удалось значительно улучшить качество обучения без увеличения количества параметров.

Комментируя работы других групп по анализу кривизны графов, Величкович отметил: их математическое доказательство подтверждает, что при попытке создать разреженные графы без «узких мест» неизбежно появление зон с отрицательной кривизной. Дальнейшее исследование этой «серой зоны» он считает одной из важнейших задач для сообщества.