# Валид Саба о пределах ChatGPT: «Аппроксимация бесконечности звучит глупо»

Источник: https://www.youtube.com/watch?v=4KIQH1VEwBI
Канал: Machine Learning Street Talk
Опубликовано: 15.04.2023

---

В новом эпизоде подкаста Machine Learning Street Talk исследователь в области искусственного интеллекта Валид Саба (Walid Saba) разбирает фундаментальные различия между современными большими языковыми моделями (LLM) и классическими вычислительными моделями. В центре дискуссии — вопрос о том, способны ли системы вроде ChatGPT реально оперировать бесконечными структурами данных или они лишь создают качественную иллюзию понимания через статистическую аппроксимацию.

## 🔄 Рекурсия против рекуррентности: в чём ошибка нейросетевого подхода
[[JUMP:0:00]]

Валид Саба настаивает на строгом разграничении понятий «рекуррентность» и «рекурсия», которые часто ошибочно отождествляются в среде разработчиков машинного обучения [0:40]. По его словам, сходство этих процессов не означает их эквивалентности: рекуррентность — это лишь повторяющийся процесс, в то время как рекурсия является полноценной вычислительной моделью [1:46].

Основные различия между ними, по мнению гостя:

*   **Семантика остановки:** В рекурсии критерий остановки (базовый случай) является интринсивным, то есть заложенным в саму структуру данных и функцию [2:54]. В нейросетях (RNN) остановка часто внешняя (экстринсивная) — например, ограничение в 300 токенов, что не связано с логикой задачи [5:09].
*   **Вычислительная мощность:** Рекурсивные функции эквивалентны машинам Тьюринга, лямбда-исчислению и логике предикатов первого порядка [2:13]. Рекуррентные же сети без бесконечной памяти или ленты не обладают такой полнотой.
*   **Композициональность:** Рекурсия неразрывно связана с математической индукцией и композициональностью [3:36]. Она определяет объекты (списки, числа, деревья) через них самих: список — это либо пустой элемент, либо элемент, присоединённый к списку [4:32].

## 📊 Иерархия Хомского и «аппроксимация» бесконечности
[[JUMP:6:03]]

Ведущий упоминает недавнюю работу DeepMind, в которой исследовалось соответствие различных архитектур нейросетей уровням иерархии Хомского [6:44]. Согласно этой иерархии:

1.  Стандартные многослойные перцептроны (MLP) соответствуют конечным автоматам.
2.  Рекуррентные сети (RNN) способны порождать регулярные языки.
3.  На вершине находятся рекурсивно перечислимые языки, распознаваемые машинами Тьюринга [6:57].

Валид Саба отмечает, что сторонники LLM часто используют аргумент об «аппроксимации» [7:34]. Они утверждают, что если Трансформеры могут имитировать рекурсивно перечислимые языки на достаточном для практических нужд уровне сложности, то в полноценных машинах Тьюринга нет необходимости. Однако Саба считает этот вопрос открытым: можно ли считать аппроксимацию бесконечного множества (каким является человеческий язык) эквивалентом самого множества [8:02]? По его мнению, «аппроксимация бесконечности» — это концептуальное противоречие [15:43].

## 💻 «Практическая бесконечность»: пример с компилятором Python
[[JUMP:9:35]]

В дискуссии поднимается критика со стороны таких учёных, как Педро Домингос, которые скептически относятся к апелляциям к «бесконечности» в ИИ, считая их абстрактными и практически бесполезными [9:22]. Валид Саба категорически не согласен с такой позицией, приводя в пример работу любого компилятора [10:18].

Аргументы Сабы о реальности бесконечности в программировании:

*   Компилятор Python или Java не содержит в себе список всех возможных программ. Он содержит конечный набор правил (грамматику), который описывает бесконечное множество валидных конструкций [11:12].
*   Если вы напишете новую, никогда не существовавшую валидную программу, компилятор не выдаст ошибку «этого нет в моей базе» [10:05]. Он готов к любому объекту из бесконечного множества.
*   Это и есть «практическая бесконечность», с которой разработчики сталкиваются каждое утро [11:27]. Способность конечного объекта (кода компилятора) представлять бесконечный объект (множество программ) — это фундаментальная мощь логики и рекурсии [9:35].

## 🗣️ Почему язык — это не статистика, а логика
[[JUMP:11:54]]

Обсуждая естественный язык, Саба ссылается на Ноама Хомского, который называл попытки вычислить вероятность предложения бессмысленными [14:23]. По мнению гостя, когда человек идет по улице, он не может предсказать, что скажет ему случайный прохожий, используя вероятностные модели [14:09].

Ключевые тезисы Валида Сабы о языке:

1.  **Проблема нулевой вероятности:** Любое конкретное предложение из бесконечного набора имеет вероятность, стремящуюся к нулю [14:35]. Следовательно, статистическое предсказание следующего токена — это лишь попытка угадать результат в системе, где пространство вариантов бесконечно.
2.  **Универсальность:** Тот же принцип бесконечности, что применим к Python, применим и к SQL, и к естественному языку [14:49]. Мы должны быть готовы к бесконечному набору объектов, которые нам могут предъявить.
3.  **Остановка и регресс:** Проблема остановки в вычислениях напрямую сводится к бесконечному регрессу [15:02]. Попытка написать программу, проверяющую завершаемость другой программы, ведет в бесконечность, если только мы не начнем снова использовать аппроксимацию [15:15].

В завершение беседы Валид Саба подчеркивает, что хотя современные LLM демонстрируют впечатляющие результаты в тестах, их реальная проверка «в дикой природе» (in the wild) ещё впереди [13:40]. По его мнению, пользователи часто склонны переоценивать модели, игнорируя их фундаментальные ограничения в угоду кратковременному вау-эффекту [13:54].