В новом эпизоде подкаста Machine Learning Street Talk исследователь в области искусственного интеллекта Валид Саба (Walid Saba) разбирает фундаментальные различия между современными большими языковыми моделями (LLM) и классическими вычислительными моделями. В центре дискуссии — вопрос о том, способны ли системы вроде ChatGPT реально оперировать бесконечными структурами данных или они лишь создают качественную иллюзию понимания через статистическую аппроксимацию.
🔄 Рекурсия против рекуррентности: в чём ошибка нейросетевого подхода 0:00
Валид Саба настаивает на строгом разграничении понятий «рекуррентность» и «рекурсия», которые часто ошибочно отождествляются в среде разработчиков машинного обучения . По его словам, сходство этих процессов не означает их эквивалентности: рекуррентность — это лишь повторяющийся процесс, в то время как рекурсия является полноценной вычислительной моделью .
Основные различия между ними, по мнению гостя:
- Семантика остановки: В рекурсии критерий остановки (базовый случай) является интринсивным, то есть заложенным в саму структуру данных и функцию . В нейросетях (RNN) остановка часто внешняя (экстринсивная) — например, ограничение в 300 токенов, что не связано с логикой задачи .
- Вычислительная мощность: Рекурсивные функции эквивалентны машинам Тьюринга, лямбда-исчислению и логике предикатов первого порядка . Рекуррентные же сети без бесконечной памяти или ленты не обладают такой полнотой.
- Композициональность: Рекурсия неразрывно связана с математической индукцией и композициональностью . Она определяет объекты (списки, числа, деревья) через них самих: список — это либо пустой элемент, либо элемент, присоединённый к списку .
📊 Иерархия Хомского и «аппроксимация» бесконечности 6:03
Ведущий упоминает недавнюю работу DeepMind, в которой исследовалось соответствие различных архитектур нейросетей уровням иерархии Хомского . Согласно этой иерархии:
- Стандартные многослойные перцептроны (MLP) соответствуют конечным автоматам.
- Рекуррентные сети (RNN) способны порождать регулярные языки.
- На вершине находятся рекурсивно перечислимые языки, распознаваемые машинами Тьюринга .
Валид Саба отмечает, что сторонники LLM часто используют аргумент об «аппроксимации» . Они утверждают, что если Трансформеры могут имитировать рекурсивно перечислимые языки на достаточном для практических нужд уровне сложности, то в полноценных машинах Тьюринга нет необходимости. Однако Саба считает этот вопрос открытым: можно ли считать аппроксимацию бесконечного множества (каким является человеческий язык) эквивалентом самого множества ? По его мнению, «аппроксимация бесконечности» — это концептуальное противоречие .
💻 «Практическая бесконечность»: пример с компилятором Python 9:35
В дискуссии поднимается критика со стороны таких учёных, как Педро Домингос, которые скептически относятся к апелляциям к «бесконечности» в ИИ, считая их абстрактными и практически бесполезными . Валид Саба категорически не согласен с такой позицией, приводя в пример работу любого компилятора .
Аргументы Сабы о реальности бесконечности в программировании:
- Компилятор Python или Java не содержит в себе список всех возможных программ. Он содержит конечный набор правил (грамматику), который описывает бесконечное множество валидных конструкций .
- Если вы напишете новую, никогда не существовавшую валидную программу, компилятор не выдаст ошибку «этого нет в моей базе» . Он готов к любому объекту из бесконечного множества.
- Это и есть «практическая бесконечность», с которой разработчики сталкиваются каждое утро . Способность конечного объекта (кода компилятора) представлять бесконечный объект (множество программ) — это фундаментальная мощь логики и рекурсии .
🗣️ Почему язык — это не статистика, а логика 11:54
Обсуждая естественный язык, Саба ссылается на Ноама Хомского, который называл попытки вычислить вероятность предложения бессмысленными . По мнению гостя, когда человек идет по улице, он не может предсказать, что скажет ему случайный прохожий, используя вероятностные модели .
Ключевые тезисы Валида Сабы о языке:
- Проблема нулевой вероятности: Любое конкретное предложение из бесконечного набора имеет вероятность, стремящуюся к нулю . Следовательно, статистическое предсказание следующего токена — это лишь попытка угадать результат в системе, где пространство вариантов бесконечно.
- Универсальность: Тот же принцип бесконечности, что применим к Python, применим и к SQL, и к естественному языку . Мы должны быть готовы к бесконечному набору объектов, которые нам могут предъявить.
- Остановка и регресс: Проблема остановки в вычислениях напрямую сводится к бесконечному регрессу . Попытка написать программу, проверяющую завершаемость другой программы, ведет в бесконечность, если только мы не начнем снова использовать аппроксимацию .
В завершение беседы Валид Саба подчеркивает, что хотя современные LLM демонстрируют впечатляющие результаты в тестах, их реальная проверка «в дикой природе» (in the wild) ещё впереди . По его мнению, пользователи часто склонны переоценивать модели, игнорируя их фундаментальные ограничения в угоду кратковременному вау-эффекту .
