# Пол и Кейт о кризисе Deep Learning и «алхимии»

Источник: https://www.youtube.com/watch?v=rie-9AEhYdY
Канал: Machine Learning Street Talk
Опубликовано: 01.04.2024

---

## Фундаментальные основы машинного обучения: зачем глубокому обучению нужна структура?
[[JUMP:0:00]]

Современный подход к Deep Learning, ориентированный на бездумное масштабирование вычислений, может быть тупиковым путем. Как утверждает Пол, сооснователь компании, занимающейся исследованиями в этой области, попытка «запомнить бесконечность» через подачу колоссальных объемов данных в нейронные сети не способна привести к конвергенции функционала. Вместо того чтобы полагаться на бесконечные вычислительные мощности, необходимо вернуться к изобретательности, новым математическим структурам и формализмам. Кейт добавляет, что работа нейросетей сейчас напоминает алхимию, а инженерные методы борьбы с ошибками — лишь «затыкание дыр» в системе, которая не обладает принципиальной прозрачностью.

### ## Математический каркас: категория и морфизмы 🌐
[[JUMP:5:09]]

По мнению собеседников, текущее понимание нейронных сетей как «черных ящиков» требует замены на более строгий базис. В качестве альтернативы предлагается теория категорий — математический язык для абстрагирования структур.

*   **Композиционность:** Если подходить к архитектуре с точки зрения геометрического глубокого обучения (GDL), возникает проблема обобщения. Не все вычисления являются обратимыми или композиционными.
*   **Двухкатегориальный подход:** Пол предлагает рассматривать нейронные сети как морфизмы в двухкатегории объектов, где параметрические карты и репараметризации позволяют структурировать вычисления так, как это делает алгебра для монад.
*   **Типовая безопасность:** Одной из проблем композиции являются типы данных. Как только в коде появляются ветвления или сложные типы (например, «Maybe T» в Haskell), классическая композиция функций перестает работать «наивно».

### ## Проектирование языков для ML: тип вместо интуиции 🛠️
[[JUMP:19:07]]

Кейт и Пол сошлись на том, что программирование — это всегда создание домен-специфичного языка (DSL). Если мы сможем создать DSL, формально описывающий архитектуру нейронных сетей, мы перейдем к «тип-ориентированному глубокому обучению» (type-driven deep learning).

1.  **Формализация:** Вместо отладки по принципу «проб и ошибок» (как в нейробиологии), инженеры смогут доказывать теоремы о поведении систем.
2.  **Новые архитектуры:** Цель — не просто улучшить текущие трансформеры, а создать архитектуры, способные к рекурсии и работе с памятью, которые фундаментально ограничены в текущих моделях.
3.  **Абстракция:** Как отмечал Александр Степанов, создатель Standard Template Library (STL) для C++, даже шаблонное метапрограммирование было попыткой втиснуть логику алгоритмов в типы. Теория категорий может стать следующим этапом эволюции этого процесса.

### ## Парадокс Тьюринга: почему нейросети не «рассуждают»? 🧠
[[JUMP:37:38]]

Собеседники провели четкую границу между тем, что делают современные нейросети, и тем, что делает машина Тьюринга.

*   **Конечные автоматы:** Нейросеть — это конечный автомат с фиксированным количеством состояний, заданным при построении. Она не обладает бесконечной расширяемой памятью для записи результатов промежуточных вычислений.
*   **Поиск в пространстве программ:** По словам Кейта, SGD (стохастический градиентный спуск) ищет решение в узком подпространстве конечных автоматов. Он практически не находит программ, которые ведут себя как контекстно-свободные или рекурсивные грамматики.
*   **Иллюзия рассуждений:** Спикеры критикуют термин «рассуждение» (reasoning) в контексте LLM. Пол полагает, что это категория-ошибка: рассуждение — это процесс объяснения причин (explanation), а не просто генерация текста на основе вероятностей.

### ## Будущее: «наука о функциях» или формальная инженерия? 🚀
[[JUMP:52:08]]

Финальный тезис дискуссии: текущее доминирование «алхимических» методов обучения — это следствие отсутствия компиляторов, которые могли бы превращать формальные высокоуровневые спецификации в эффективные нейросетевые модули.

*   **Data as Code:** Собеседники пришли к выводу, что любая интеллектуальная деятельность в глубоком обучении — это программирование. Обучающая выборка является программой, а нейросеть — компилятором, который эту программу превращает в исполняемую функцию.
*   **Синтаксис против семантики:** Категориальный подход позволяет абстрагироваться от «ужасающих» деталей реализации и работать на уровне functorial semantics (функториальной семантики). Это не «божественное откровение», а способ сделать проблему «тривиальной», выбрав правильную форму представления.