# Франсуа Шолле: «Градиентный спуск — не способ обучения алгоритмам» Источник: https://www.youtube.com/watch?v=TQDCsyuuwsg Канал: Machine Learning Street Talk Опубликовано: 23.03.2025 --- ## Программный синтез и предел нейронных сетей: взгляд Франсуа Шолле и Кевина Эллиса 🤖 [[JUMP:00:00]] В индустрии искусственного интеллекта развернулась дискуссия о том, способны ли текущие архитектуры, основанные на глубоком обучении, достичь уровня настоящего обобщения или же нам необходимы принципиально новые подходы. В интервью каналу **Machine Learning Street Talk** эксперты Франсуа Шолле (исследователь ИИ, создатель Keras) и Кевин Эллис (специалист в области программного синтеза) обсудили, почему нейросети буксуют в алгоритмических задачах и какую роль в будущем будет играть программный синтез. ### Тупик градиентного спуска: когда статистика мешает логике [[JUMP:00:28]] В начале своей карьеры Франсуа Шолле полагал, что нейронные сети и градиентный спуск смогут стать полноценной заменой программированию, так как теоретически они обладают свойством полноты по Тьюрингу. Однако опыт работы над задачами по доказательству теорем в Google вместе с Кристианом Сегеди показал обратное. * **Проблема «статистического шума»:** Шолле отмечает, что нейронные сети неизменно пытаются ухватиться за статистические закономерности (шум), вместо того чтобы реализовать конкретный алгоритм, даже если структура последнего представима внутри сети. * **Экспериментальное подтверждение:** Даже если инициализировать веса нейросети идеально корректным решением задачи, в процессе дообучения на новых примерах модель часто «разучивает» правильный алгоритм и переключается на переобученное (overfit) решение. По мнению Шолле, градиентный спуск — это «не тот способ», которым нужно изучать алгоритмы. Он утверждает, что нейросети эффективны для задач со структурой непрерывного пространства (паттерн-матчинг), но для дискретных логических задач они являются субоптимальным выбором. Кевин Эллис соглашается: попытки вложить дискретные структуры в непрерывные пространства векторов часто приводят к созданию «неуправляемых поверхностей оптимизации». ### Будущее: гибридные архитектуры и программные интерфейсы [[JUMP:07:47]] Собеседники сходятся во мнении, что вопрос создания гибридного «субстрата» — того, что не является чисто нейросетевым или чисто символьным, — остается ключевой задачей для ИИ. * **Глубокая интеграция:** Шолле предлагает переосмыслить взаимодействие нейросетей и программ. Вместо того чтобы использовать нейросеть как «черный ящик», её можно интегрировать в сам интерпретатор языка программирования, чтобы она управляла динамикой исполнения. * **Тестовое время как ресурс:** Кевин Эллис отмечает потенциал использования нейросетей для «тестового времени» (test-time computation), когда модель может гибко переопределять семантику под конкретную задачу, подобно тому, как это происходит в моделях типа **o1**. * **Роль инфраструктуры:** По словам Шолле, сегодня мы находимся в стадии исследования, аналогичной глубокому обучению 2011 года. Пока нет устоявшегося алгоритма, создавать инфраструктуру уровня «Keras для программного синтеза» преждевременно, но в будущем это станет неизбежностью. ### Почему большие языковые модели побеждают? [[JUMP:16:35]] Кевин Эллис задался вопросом: если классические методы (SAT/SMT-решатели, символьный поиск) были теоретически обоснованы, почему сегодня доминируют LLM? * **Сила ресурсов:** Шолле объясняет доминирование LLM колоссальными инвестициями. В их развитие вложено в 10 000 раз больше ресурсов, чем в символьные методы, которые остались «маргинальными академическими темами». * **Игровая теория:** С точки зрения игровой теории, стандартизация на LLM является вынужденной: если вы не используете инструмент, в который влиты сотни миллиардов долларов, вы упускаете мощные возможности, даже если подход считается субоптимальным. ### ARC и вызовы сильного обобщения [[JUMP:21:27]] Обсуждая бенчмарк **ARC (Abstraction and Reasoning Corpus)**, Шолле поделился ожиданиями от предстоящей второй версии. * **Композиционная новизна:** Трансформеры плохо справляются с композицией функций, которая требуется для решения задач в ARC. Новая версия датасета будет содержать меньше задач, решаемых «грубой силой», и больше — требующих сильного обобщения. * **Человеческий фактор:** В ARC-2 планируется использовать данные о сложности задач для людей, чтобы проверить, как человеческая интуиция коррелирует с результатами ИИ. * **Микромир для ИИ:** Шолле подчеркивает, что ARC — это «микромир» без лишних знаний о программировании, где всё сфокусировано на генерации абстракций, что делает его идеальным инструментом для оценки истинного прогресса в направлении AGI.