Рассуждения в эпоху нейросетей: на пути к гибридному интеллекту 0:00
Современный искусственный интеллект переживает период переосмысления: от веры в «чистые» нейронные сети к признанию необходимости более жестких структур, напоминающих классическое программирование. В недавнем выпуске подкаста Machine Learning Street Talk ведущий обсудил со Сваратом Чаудхури, профессором компьютерных наук из Техасского университета в Остине и приглашенным исследователем в Google DeepMind, будущее «нейросимволического» программирования, природу машинного мышления и то, как глубокие языковые модели (LLM) могут изменить саму суть математических открытий.
🧠 Что такое «рассуждение» для ИИ? 3:10
По мнению Чаудхури, попытка дать определение «рассуждению» через призму антропоморфизма — путь в никуда. Вместо того чтобы спрашивать, «мыслит» ли машина как человек, он предлагает количественный подход:
- Критерии рассуждения: Способность системы превосходить существующие методы в решении математических, алгоритмических и логических задач.
- Отказ от дихотомии: Рассуждение не является булевой величиной (да/нет); это спектр, по которому можно измерять прогресс модели.
- Проблема «черных ящиков»: Если для решения задачи требуются колоссальные вычислительные мощности (например, тысячи часов работы кластера), можно ли считать это рассуждением в человеческом понимании? Чаудхури полагает, что здесь важна не только эффективность, но и робастность — способность модели решать задачи в разных условиях, а не только в тех, что были в обучающей выборке.
Гость подчеркивает: текущие языковые модели часто создают «раздутые» вычислительные контуры, которые не переиспользуются в новых ситуациях, в то время как человеческое мышление опирается на лаконичные, абстрактные мотивы.
🏗️ Нейросимволический подход: возвращение к истокам 11:31
Несмотря на популярность идеи обучения систем «от конца до конца» (end-to-end), тренд смещается в сторону нейросимволических методов — комбинации нейросетей и классического кода.
- AlphaProof и интерпретаторы: Использование Python-интерпретатора или программ для формальных доказательств (например, Lean) в связке с нейросетью — это классический пример нейросимволического подхода, где нейросеть «общается» с символьным инструментом, получая надежную обратную связь.
- Роль абстракции: Чаудхури считает, что именно механизмы абстракции и модульности являются ключом к достижению робастности, которой так не хватает современным LLM.
- DreamCoder: Проект, в котором нейронная сеть управляет процессом поиска программ и выделения новых «библиотечных» функций, остается важным ориентиром для создания более способных моделей.
🔬 Математика как инструмент поиска 1:06:43
Одной из самых смелых тем дискуссии стала роль ИИ в научном поиске. Чаудхури согласен с мнением Теренса Тао: к 2026 году ИИ может стать полноценным «соавтором» или ассистентом в математических статьях.
- Копилоты для доказательств: Подобно тому, как программисты сегодня используют Copilot для написания кода, математики смогут использовать ИИ для автоматической проверки доказательств и перебора вариантов.
- Декомпозиция доказательств: Вместо того чтобы пытаться понять каждый низкоуровневый шаг огромного доказательства, математики смогут работать с высокоуровневыми интерфейсами и проверять систему по частям.
- Отсутствие «интеллектуального» ревью: Чаудхури задается вопросом: нужно ли рецензенту понимать каждую деталь, если доказательство проверено формальной системой (например, Lean) и разбито на проверяемые модули?
🚀 Будущее и ограничения: Лазерная архитектура 57:48
Рассказывая о собственных исследованиях, Чаудхури представил подход LASER, который использует LLM для управления поиском программ и извлечения концептов.
- Механизм: Эволюционный поиск создает пул кандидатов, а LLM выступает в роли «абстрактора», который объясняет, какие закономерности в программах привели к успеху.
- Практические результаты: Этот метод был успешно применен для поиска физических законов из «Фейнмановских лекций по физике» и открытия новых законов масштабирования для LLM.
- Критика и риски: Главная проблема, с которой сталкиваются все подобные исследования — «загрязнение» тестовых данных (test set contamination), когда модель просто «помнит» ответ из интернета. Однако Чаудхури настаивает, что продолжать исследования необходимо, осознавая эти риски.
В заключение гость отметил, что текущая «гонка за SOTA» (state-of-the-art — лучшими показателями на бенчмарках) является в некоторой степени миной для научной продуктивности, так как отвлекает ресурсы от фундаментально новых алгоритмических подходов. По его мнению, будущее лежит в объединении LLM с инструментами, которые обеспечивают строгую логическую проверку и работу с реальностью.
