# Йошуа Бенжио: «GFlowNets — это обучаемая замена методам Монте-Карло» Источник: https://www.youtube.com/watch?v=M49TMqK5uCE Канал: Machine Learning Street Talk Опубликовано: 22.02.2022 --- Лауреат премии Тьюринга Йошуа Бенжио (Yoshua Bengio) в интервью Machine Learning Street Talk представил концепцию GFlowNets — инновационный фреймворк для вероятностного моделирования. Учёный обсуждает, как этот метод может заменить классические алгоритмы выборки, помочь в поиске причинно-следственных связей и приблизить искусственный интеллект к человеческому мышлению «Системы 2». ## 🌊 GFlowNets: «Швейцарский армейский нож» вероятностного моделирования [[JUMP:17:45]] Йошуа Бенжио утверждает, что не был так воодушевлён новой темой в науке последние 6–7 лет [17:45]. GFlowNets (Generative Flow Networks) представляют собой обучаемую замену методам Монте-Карло по схеме марковских цепей (MCMC) [18:23]. В то время как традиционные методы MCMC часто «застревают» в одной области вероятностного распределения, GFlowNets используют обобщающую способность нейросетей для эффективного поиска множества «мод» (пиков высокой вероятности) [34:41]. По мнению Йошуа Бенжио, ключевые возможности GFlowNets включают: * **Оценку неразрешимых величин:** возможность вычислять статистические суммы (partition functions) и условные вероятности, которые требуют суммирования по экспоненциально большому количеству вариантов [18:49]. * **Генерацию разнообразных решений:** в отличие от обучения с подкреплением (RL), нацеленного на максимизацию вознаграждения, GFlowNets обучаются генерировать объекты пропорционально их вознаграждению [17:07]. * **Масштабируемость:** использование нейронных сетей позволяет переносить знания о структуре распределения на новые, ещё не посещённые области пространства [21:27]. ## 🧠 Метафора доски Гальтона и нейронный контроль [[JUMP:19:29]] Для визуализации работы GFlowNets ведущие предложили аналогию с доской Гальтона («машиной для бобов») — устройством, где шарики катятся через ряды колышков и собираются в корзинах, образуя биномиальное распределение [19:43]. Йошуа Бенжио развил эту аналогию: 1. В GFlowNets колышки — это не статические препятствия, а управляемые клапаны или гейты [20:46]. 2. Нейронная сеть выступает в роли «мозга», который настраивает веса этих гейтов (вероятности перехода влево или вправо), чтобы на выходе получить любое желаемое распределение [20:46]. 3. Главное отличие от простой таблицы вероятностей заключается в том, что одна нейросеть управляет всей огромной доской. Она понимает координаты и структуру, что позволяет ей «догадываться», как настраивать гейты в частях доски, где шарики ещё ни разу не проходили [21:27]. Бенжио подчёркивает, что пространство состояний в реальных задачах (например, при синтезе молекул) экспоненциально велико, и только благодаря «статистической силе» нейросетей становится возможным обучение на конечном числе траекторий [21:40]. ## ⚔️ GFlowNets против AlphaZero: Диверсификация или жадность? [[JUMP:14:17]] В контексте обучения с подкреплением (RL) GFlowNets предлагают фундаментально иной подход по сравнению с такими системами, как AlphaZero [14:17]. Основные различия в подходах: * **Целевая функция:** AlphaZero обучает политику для выбора *наилучшего* хода (максимизация ожидаемого вознаграждения). GFlowNets распределяют действия *пропорционально* вознаграждению [14:31]. * **Исследование (Exploration):** традиционное RL часто отсекает низкоэффективные траектории. GFlowNets сохраняют их, просто выбирая реже, что критически важно для обнаружения «ступенек» (stepping stones) в сложных задачах поиска [15:48]. * **Производительность:** Бенжио ссылается на результаты своих работ, согласно которым GFlowNets сходятся экспоненциально быстрее, чем MCMC и алгоритм PPO на определённых задачах, находя больше мод распределения за меньшее время [16:01]. Учёный предполагает, что если бы AlphaZero и гипотетический «FlowZero» имели одинаковые ресурсы, AlphaZero могла бы выиграть в шахматы за счёт «жадности». Однако «FlowZero» потенциально мог бы достичь более высокого рейтинга ELO в долгосрочной перспективе, находя неочевидные стратегии, которые жадные алгоритмы игнорируют на ранних этапах [37:18]. ## 🧪 Научные открытия и причинно-следственные связи [[JUMP:42:53]] Одной из главных мотиваций Йошуа Бенжио в разработке GFlowNets является реализация «индуктивных предубеждений Системы 2» (System 2 inductive biases) [43:46]. Система 2, согласно психологу Даниэлю Канеману, отвечает за медленное, логическое и осознанное мышление. Роль GFlowNets в развитии «Системы 2» для ИИ: * **Причинно-следственное обнаружение (Causal Discovery):** умение находить структуру графа причин и следствий в мире, где наблюдаются только хаотичные пиксели [46:24]. * **Активное обучение в науке:** планирование экспериментов так, чтобы максимально снизить неопределённость в теориях при минимальном количестве вопросов к природе [42:41]. * **Абстракция:** Бенжио считает, что введение абстрактных категорий позволяет радикально сократить длину описания данных (description length), что и является ключом к настоящему обобщению [50:50]. По мнению Бенжио, современное глубокое обучение хорошо справляется с «Системой 1» (интуитивное распознавание образов), но GFlowNets могут стать инструментом для интеграции рассуждений и логики непосредственно в нейросетевую архитектуру, представляя мысли как графы [45:07]. ## 👁️ Сознание и «слегка осознанные» нейросети [[JUMP:55:00]] В сообществе ИИ вызвал резонанс твит Ильи Суцкевера (OpenAI) о том, что современные крупные нейросети могут быть «слегка осознанными» [55:12]. Йошуа Бенжио призывает к осторожности и смирению в этом вопросе, поскольку наука до сих пор точно не определила, что такое сознание [56:07]. Позиция Бенжио по вопросу сознания ИИ: 1. **Разрыв в сложности:** между текущими языковыми моделями и реальным сознанием существует огромная дистанция [56:20]. 2. **Сознательная обработка:** вместо термина «сознание» учёный предпочитает говорить о «механизмах сознательной обработки» (conscious processing machinery) [57:14]. 3. **Теория глобального рабочего пространства (Global Workspace Theory):** Бенжио опирается на эту теорию, предполагая, что сознание возникает, когда внимание выбирает узкое подмножество элементов из огромного объёма знаний для выполнения конкретной задачи [1:08:58]. 4. **Иллюзия дуализма:** учёный разделяет взгляды Майкла Грациано, считающего субъективный опыт (квалиа) результатом работы модели внимания, которую мозг строит для самоконтроля. Это создаёт «иллюзию» дуализма [1:00:29]. Бенжио подчеркивает, что сознание долгое время было табу в науке, но благодаря прогрессу нейробиологии мы начинаем измерять процессы, происходящие в мозге при осознанном и неосознанном восприятии [57:26]. ## 📈 Эволюция взглядов: От коннекционизма к символам [[JUMP:1:05:21]] Йошуа Бенжио описывает свой путь как трансформацию от «чистого коннекциониста» 90-х годов к исследователю, стремящемуся интегрировать символьные рассуждения в нейросети [1:06:27]. Ключевые вехи этой трансформации: * **2000-е:** Осознание важности абстракции и поиск «слов» или концептов на верхних уровнях нейросетей [1:07:32]. * **2014 год:** Открытие механизмов внимания, которые позволяют фокусироваться на немногих элементах, что характерно для человеческой мысли [1:08:22]. * **2017 год:** Публикация работы «The Consciousness Prior», связавшей внимание, разреженные факторные графы и теорию глобального рабочего пространства [1:08:58]. Учёный отмечает, что его взгляды в некоторой степени сблизились с позицией критика глубокого обучения Гэри Маркуса (Gary Marcus). Оба согласны в необходимости композиционности и абстракции, однако Бенжио настаивает: эти свойства должны именно *выучиваться* нейросетью, а не закладываться человеком вручную в виде жестких правил [1:09:15].