Йошуа Бенжио: «GFlowNets — это обучаемая замена методам Монте-Карло»

Лауреат премии Тьюринга Йошуа Бенжио (Yoshua Bengio) в интервью Machine Learning Street Talk представил концепцию GFlowNets — инновационный фреймворк для вероятностного моделирования. Учёный обсуждает, как этот метод может заменить классические алгоритмы выборки, помочь в поиске причинно-следственных связей и приблизить искусственный интеллект к человеческому мышлению «Системы 2».

🌊 GFlowNets: «Швейцарский армейский нож» вероятностного моделирования 17:45

Йошуа Бенжио утверждает, что не был так воодушевлён новой темой в науке последние 6–7 лет . GFlowNets (Generative Flow Networks) представляют собой обучаемую замену методам Монте-Карло по схеме марковских цепей (MCMC) . В то время как традиционные методы MCMC часто «застревают» в одной области вероятностного распределения, GFlowNets используют обобщающую способность нейросетей для эффективного поиска множества «мод» (пиков высокой вероятности) .

По мнению Йошуа Бенжио, ключевые возможности GFlowNets включают:

• Оценку неразрешимых величин: возможность вычислять статистические суммы (partition functions) и условные вероятности, которые требуют суммирования по экспоненциально большому количеству вариантов .
• Генерацию разнообразных решений: в отличие от обучения с подкреплением (RL), нацеленного на максимизацию вознаграждения, GFlowNets обучаются генерировать объекты пропорционально их вознаграждению .
• Масштабируемость: использование нейронных сетей позволяет переносить знания о структуре распределения на новые, ещё не посещённые области пространства .

🧠 Метафора доски Гальтона и нейронный контроль 19:29

Для визуализации работы GFlowNets ведущие предложили аналогию с доской Гальтона («машиной для бобов») — устройством, где шарики катятся через ряды колышков и собираются в корзинах, образуя биномиальное распределение .

Йошуа Бенжио развил эту аналогию:

1. В GFlowNets колышки — это не статические препятствия, а управляемые клапаны или гейты .
2. Нейронная сеть выступает в роли «мозга», который настраивает веса этих гейтов (вероятности перехода влево или вправо), чтобы на выходе получить любое желаемое распределение .
3. Главное отличие от простой таблицы вероятностей заключается в том, что одна нейросеть управляет всей огромной доской. Она понимает координаты и структуру, что позволяет ей «догадываться», как настраивать гейты в частях доски, где шарики ещё ни разу не проходили .

Бенжио подчёркивает, что пространство состояний в реальных задачах (например, при синтезе молекул) экспоненциально велико, и только благодаря «статистической силе» нейросетей становится возможным обучение на конечном числе траекторий .

⚔️ GFlowNets против AlphaZero: Диверсификация или жадность? 14:17

В контексте обучения с подкреплением (RL) GFlowNets предлагают фундаментально иной подход по сравнению с такими системами, как AlphaZero .

Основные различия в подходах:

• Целевая функция: AlphaZero обучает политику для выбора наилучшего хода (максимизация ожидаемого вознаграждения). GFlowNets распределяют действия пропорционально вознаграждению .
• Исследование (Exploration): традиционное RL часто отсекает низкоэффективные траектории. GFlowNets сохраняют их, просто выбирая реже, что критически важно для обнаружения «ступенек» (stepping stones) в сложных задачах поиска .
• Производительность: Бенжио ссылается на результаты своих работ, согласно которым GFlowNets сходятся экспоненциально быстрее, чем MCMC и алгоритм PPO на определённых задачах, находя больше мод распределения за меньшее время .

Учёный предполагает, что если бы AlphaZero и гипотетический «FlowZero» имели одинаковые ресурсы, AlphaZero могла бы выиграть в шахматы за счёт «жадности». Однако «FlowZero» потенциально мог бы достичь более высокого рейтинга ELO в долгосрочной перспективе, находя неочевидные стратегии, которые жадные алгоритмы игнорируют на ранних этапах .

🧪 Научные открытия и причинно-следственные связи 42:53

Одной из главных мотиваций Йошуа Бенжио в разработке GFlowNets является реализация «индуктивных предубеждений Системы 2» (System 2 inductive biases) . Система 2, согласно психологу Даниэлю Канеману, отвечает за медленное, логическое и осознанное мышление.

Роль GFlowNets в развитии «Системы 2» для ИИ:

• Причинно-следственное обнаружение (Causal Discovery): умение находить структуру графа причин и следствий в мире, где наблюдаются только хаотичные пиксели .
• Активное обучение в науке: планирование экспериментов так, чтобы максимально снизить неопределённость в теориях при минимальном количестве вопросов к природе .
• Абстракция: Бенжио считает, что введение абстрактных категорий позволяет радикально сократить длину описания данных (description length), что и является ключом к настоящему обобщению .

По мнению Бенжио, современное глубокое обучение хорошо справляется с «Системой 1» (интуитивное распознавание образов), но GFlowNets могут стать инструментом для интеграции рассуждений и логики непосредственно в нейросетевую архитектуру, представляя мысли как графы .

👁️ Сознание и «слегка осознанные» нейросети 55:00

В сообществе ИИ вызвал резонанс твит Ильи Суцкевера (OpenAI) о том, что современные крупные нейросети могут быть «слегка осознанными» . Йошуа Бенжио призывает к осторожности и смирению в этом вопросе, поскольку наука до сих пор точно не определила, что такое сознание .

Позиция Бенжио по вопросу сознания ИИ:

1. Разрыв в сложности: между текущими языковыми моделями и реальным сознанием существует огромная дистанция .
2. Сознательная обработка: вместо термина «сознание» учёный предпочитает говорить о «механизмах сознательной обработки» (conscious processing machinery) .
3. Теория глобального рабочего пространства (Global Workspace Theory): Бенжио опирается на эту теорию, предполагая, что сознание возникает, когда внимание выбирает узкое подмножество элементов из огромного объёма знаний для выполнения конкретной задачи .
4. Иллюзия дуализма: учёный разделяет взгляды Майкла Грациано, считающего субъективный опыт (квалиа) результатом работы модели внимания, которую мозг строит для самоконтроля. Это создаёт «иллюзию» дуализма .

Бенжио подчеркивает, что сознание долгое время было табу в науке, но благодаря прогрессу нейробиологии мы начинаем измерять процессы, происходящие в мозге при осознанном и неосознанном восприятии .

📈 Эволюция взглядов: От коннекционизма к символам 1:05:21

Йошуа Бенжио описывает свой путь как трансформацию от «чистого коннекциониста» 90-х годов к исследователю, стремящемуся интегрировать символьные рассуждения в нейросети .

Ключевые вехи этой трансформации:

• 2000-е: Осознание важности абстракции и поиск «слов» или концептов на верхних уровнях нейросетей .
• 2014 год: Открытие механизмов внимания, которые позволяют фокусироваться на немногих элементах, что характерно для человеческой мысли .
• 2017 год: Публикация работы «The Consciousness Prior», связавшей внимание, разреженные факторные графы и теорию глобального рабочего пространства .

Учёный отмечает, что его взгляды в некоторой степени сблизились с позицией критика глубокого обучения Гэри Маркуса (Gary Marcus). Оба согласны в необходимости композиционности и абстракции, однако Бенжио настаивает: эти свойства должны именно выучиваться нейросетью, а не закладываться человеком вручную в виде жестких правил .