Майкл Бронштейн — профессор Имперского колледжа Лондона и руководитель отдела графового машинного обучения (Graph ML) в Twitter (ныне X) — один из ведущих мировых экспертов в области геометрического глубокого обучения. В беседе с Сэмом Чаррингтоном на подкасте TWIML AI он подводит итоги бурного развития индустрии за последние годы, объясняет, почему социальные сети и фармацевтика стали главными полигонами для тестирования графовых нейросетей (GNN), и раскрывает технические вызовы, стоящие перед инженерами при работе с данными масштаба сотен миллионов пользователей.
📈 Революция графовых нейросетей: от ниши до мейнстрима 1:17
За последние несколько лет область глубокого обучения на графах прошла путь от экзотического направления до одной из самых популярных тем на крупнейших ИИ-конференциях, таких как нейросетевой форум ICLR . По словам Бронштейна, это не была «революция одного дня», подобная появлению AlexNet в компьютерном зрении, а скорее стремительная эволюция, вызванная совпадением нескольких факторов :
- Доступность данных: Появление специализированных бенчмарков, таких как Open Graph Benchmark (OGB).
- Программная среда: Разработка библиотек PyTorch Geometric и Deep Graph Library (DGL).
- Аппаратное обеспечение: Использование мощностей GPU, хотя Бронштейн признает, что для графовых структур они не всегда идеальны .
Графы — это универсальный математический язык для описания отношений. Майкл подчеркивает, что их можно использовать в любой области: от физики элементарных частиц до анализа социальных взаимодействий и структуры белков .
🐦 Вызовы Twitter: масштаб, динамика и задержки 13:24
Работа в Twitter поставила перед командой Бронштейна задачи, которые редко встречаются в академической среде. Если в статьях часто фигурируют «маленькие» графы цитирований на 5–10 тысяч узлов, то в Twitter речь идет о сотнях миллионов узлов и миллиардах связей .
Основные сложности промышленного применения GNN по мнению гостя:
- Масштабируемость: Необходимость обрабатывать огромные объемы данных без потери эффективности.
- Задержка (Latency): В продакшене системы должны выдавать результат мгновенно, что накладывает ограничения на архитектуру сетей .
- Динамическая природа: Социальная сеть — это не статичная картинка, а асинхронный поток событий. Пользователи подписываются друг на друга, твитят и удаляют аккаунты каждую секунду .
Команда Бронштейна разработала Temporal Graph Networks (TGN) — фреймворк для обучения на графах с непрерывным временем . К каждому узлу прикрепляется «память» (состояние), которая аккумулирует историю взаимодействий и обновляется при каждом новом событии . Это критически важно для систем рекомендаций и обнаружения злоумышленников.
🧠 Экспрессивность и «тест на раскраску» графов 22:12
Одной из самых глубоких теоретических тем обсуждения стал вопрос «экспрессивной мощности» нейросетей — способности модели различать разные структуры. Бронштейн объясняет, что стандартные графовые нейросети (Message Passing Neural Networks) ограничены в своих возможностях.
Их предел — это тест Вайсфейлера-Лесмана (WL), который используется в теории графов для проверки изоморфизма (тождественности) структур . Бронштейн указывает на «разочаровывающий факт»: стандартные GNN не способны распознать даже простые треугольники в графе . Между тем треугольники — это ключевой мотив в социальных связях («друг моего друга — мой друг»).
Для решения этой проблемы Бронштейн предлагает:
- Использование иерархии тестов WL более высокого порядка, хотя они требуют огромных вычислительных мощностей (квадратичная сложность) .
- Graph Substructure Networks (GSN): Подход, при котором сеть заранее получает информацию о наличии подструктур (кликов, циклов, путей), что резко повышает её «интеллект» без потери линейной скорости работы .
🧬 ИИ в медицине: белки как «молекулы жизни» 48:49
Майкл Бронштейн убежден, что главным «киллер-фичей» (убойным приложением) графовых нейросетей в ближайшие 5–10 лет станет здравоохранение и биология .
- Дизайн лекарств: Поиск новых молекул похож на поиск иголки в стоге сена. Существует около $10^{60}$ потенциально синтезируемых молекул среднего размера — это больше, чем атомов во Вселенной . GNN позволяют проводить виртуальный скрининг, отсеивая бесперспективные варианты в разы быстрее традиционных симуляций .
- Иммунотерапия рака: Бронштейн сотрудничает с лабораторией Бруно Корреа (EPFL) для проектирования белков-биндеров. Эти белки должны блокировать механизмы, с помощью которых опухоль «обманывает» иммунную систему, заставляя Т-клетки принимать рак за здоровую ткань .
- Борьба с COVID-19: В Имперском колледже Майкл участвует в проекте по поиску синергетических комбинаций уже существующих лекарств. Цель — с помощью графов предсказать, как пара известных препаратов может вместе эффективно блокировать вирусные белки .
🔮 Будущее: геометрическое обучение 11:40
Бронштейн подчеркивает, что мы уходим от восприятия данных как плоских сеток (как в изображениях). Будущее за «метрической геометрией» и обучением на многообразиях (manifold learning) . Он отмечает ироничный поворот в науке: компьютерное зрение долгое время считало 3D-данные уделом графики, но сегодня лучшие работы в CV связаны именно с геометрией и дискретными представлениями форм .
Для Бронштейна успех области будет означать превращение GNN в такой же стандартный инструмент индустрии, каким сегодня являются обычные нейросети для распознавания лиц или перевода текста .
