В новом выпуске канала Machine Learning Street Talk Тим Скарф отправляется в компьютерную лабораторию Кембриджа, чтобы обсудить глубокие математические структуры с ведущими исследователями DeepMind — доктором Петаром Величковичем и доктором Эндрю Дудзиком. В центре дискуссии оказались не только вопросы машинного обучения, но и фундаментальные концепции теории категорий, их связь с алгеброй и историческое наследие британской информатики.
🏰 От «Математической лаборатории» до DeepMind: Исторический контекст Кембриджа 2:10
Поездка Тима Скарфа в Кембридж началась с погружения в историю вычислительной техники. Компьютерная лаборатория Кембриджа, как отмечают участники, изначально называлась «Математической лабораторией» . Это подчеркивает глубокую связь между теоретической математикой и первыми шагами в создании ЭВМ.
В лаборатории сохранились уникальные артефакты:
- Дверь первой в Кембридже кафедры компьютерных наук с надписью «Mathematical Laboratory» .
- Один из первых компьютеров EDSAC, для работы с которым требовались операторы, такие как Розмари Хилл, помогавшая пользователям настраивать программы .
- Старые коммуникационные порты (RS423), которые предшествовали современным стандартам .
Особое внимание Петар Величкович уделил «Залу славы» компаний, вышедших из стен кембриджской лаборатории. Одной из самых значимых в списке является DeepMind Technologies, основанная в 2010 году . Исследователи также продемонстрировали паттерн на стекле лаборатории, который оказался не просто украшением или азбукой Морзе, а точным воспроизведением перфокарты для программы численного интегрирования с использованием решеток .
🧬 Решетки и группоиды: Где прячется сложность в теории категорий? 5:16
В ходе беседы Эндрю Дудзик и Петар Величкович затронули тему того, как абстрактные математические структуры, такие как решетки и группоиды, соотносятся с теорией категорий. Теория категорий рассматривается ими как объединяющая структура, изучающая абстрактные объекты и трансформации между ними .
Эндрю Дудзик выделил ключевые различия в сложности этих структур:
- Решетки (Lattices): Представляют собой частично упорядоченные множества. По мнению Дудзика, они сложны из-за своих реляционных аспектов и правил порядка .
- Группоиды (Groupoids): Алгебраические структуры, обобщающие понятие группы. В отличие от решеток, в них нет интересного аспекта упорядочивания, но само множество морфизмов может быть «ужасающе сложным» .
Петар Величкович отметил, что с высоты птичьего полета группоиды могут казаться неинтересными, представляя собой лишь классы эквивалентности, однако внутренняя динамика в них крайне богата . Собеседники сошлись во мнении, что почти всё, представляющее интерес в математике, является некой комбинацией решеток и группоидов .
🧠 «Моноидальное просветление» и проверка на зрелость 7:54
Обсуждая специализацию в математике, Эндрю Дудзик упомянул забавный случай из дискуссии с Дэвидом Спиваком (известным математиком в области теории категорий). По словам Дудзика, Спивак в какой-то момент провозгласил достижение «моноидального просветления», заявив о готовности к тому, что категориальные произведения могут не быть декартовыми (Cartesian) .
Дудзик выдвинул встречный тезис о «настоящей проверке на зрелость» в этой области:
- Готовность к тому, что категориальные произведения (products) не являются декартовыми — это лишь первый шаг .
- Настоящий тест на понимание — это когда ко-произведения (co-products) перестают быть ко-декартовыми .
По мнению Дудзика, многие исследователи моноидальных категорий всё ещё воспринимают операцию «плюс» слишком буквально, не видя за ней более глубоких смыслов . Петар Величкович добавил, что в их совместных работах они пытаются переопределить значение знака «плюс», что, по ироничному замечанию Дудзика, делает их работу интересной, хотя, возможно, и находящейся на «слишком низком гомотопическом уровне», чтобы привлечь внимание радикальных теоретиков категорий .
⚖️ Опасности чрезмерной абстракции: Почему алгебра важнее «категорификации» 9:41
Одним из самых острых моментов дискуссии стало обсуждение «категорификации» — процесса перевода проблем на более высокие уровни абстракции. Эндрю Дудзик выразил скептическое отношение к тем, кто призывает работать исключительно на высших категориальных уровнях .
Основные аргументы Дудзика против преждевременной абстракции:
- Утеря сути проблемы: При переходе на «верхний» уровень проблема в том виде, в котором она существует в реальности, часто просто исчезает или перестает быть видимой для исследователя .
- Ложное чувство обобщения: Утверждения о наличии более общего взгляда часто маскируют непонимание конкретной задачи .
- Приоритет алгебры: Дудзик подчеркивает, что предпочитает сначала заниматься алгеброй, чтобы понять структуру «в руках», и только потом задумываться о том, можно ли это представить как категорию .
Петар Величкович согласился с этим подходом, отметив, что их цель — сделать свои исследования понятными для людей с базовыми знаниями в области компьютерных наук и теории множеств, а не только для экспертов в теории категорий .
🤝 Влияние на ИИ: Графовые нейросети и академический путь 10:48
В завершающей части видео к разговору присоединился профессор Пьетро Лио, который подчеркнул вклад Петара Величковича в развитие области графовых нейронных сетей (GNN) в Кембридже . По словам профессора, их совместный курс по обучению представлений на графах готовит новое поколение ученых со всего мира, объединяя теорию и практику .
Петар поделился личной историей о том, как Пьетро Лио убедил его заняться наукой. В начале пути Величкович не планировал исследовательскую карьеру, но Пьетро, даже не видя его кода, сразу заявил: «Петар, ты должен делать PhD, исследования — это для тебя» . Как признается сам Петар, именно настойчивость профессора стала причиной его научной карьеры. Тим Скарф подтвердил статус Величковича, назвав его «мировой знаменитостью» в области машинного обучения, чьи работы по графам сейчас определяют тренды индустрии .
