# Йошуа Бенжио: «ИИ нуждается в мировых моделях для рассуждения»

Источник: https://www.youtube.com/watch?v=Pafsmy0PZMg
Канал: Eye on AI
Опубликовано: 13.04.2023

---

## Йошуа Бенжио о будущем ИИ: от борьбы за регулирование к созданию «мировых моделей»
[[JUMP:0:00]]

В недавнем выпуске подкаста Eye on AI ведущий Крейг Смит беседует с Йошуа Бенжио, одним из «отцов» глубокого обучения и лауреатом премии Тьюринга. В центре дискуссии — необходимость регулирования быстро развивающихся технологий, причины подписания знаменитого «письма о паузе» в разработке ИИ и исследовательский поиск новых архитектур, которые позволили бы машинам рассуждать подобно человеку.

### ⚖️ Регулирование ИИ и «письмо о паузе»
[[JUMP:1:53]]

Йошуа Бенжио стал одним из самых заметных подписантов письма, призывающего к временному ограничению разработки мощных систем ИИ. По его мнению, общество столкнулось с угрозой, к которой оно не готово.

*   **Риски:** Бенжио утверждает, что текущая конкуренция между компаниями провоцирует их пренебрегать мерами безопасности, действуя в спешке.
*   **Смена парадигмы:** Ученый отмечает, что системы ИИ преодолели порог теста Тьюринга, что делает их использование для манипуляции общественным мнением и подрыва демократии крайне опасным.
*   **Регулирование:** По словам Бенжио, ИИ должен быть строго регламентирован, подобно авиации, фармацевтике или химической промышленности.
*   **Отношение к «паузе»:** Хотя критики часто видели в письме лишь привлечение внимания, Бенжио настаивает, что призыв к координации между компаниями и на международном уровне критически важен.

В ходе беседы выяснилось, что Бенжио не является автором текста письма и не координирует законодательные инициативы напрямую, однако он активно участвует в работе Global Partnership on AI. Он подчеркнул, что работа по регулированию идет полным ходом: Канада готовится принять соответствующее законодательство, а Европа занимается этим вопросом на протяжении нескольких лет. В качестве конкретной меры безопасности он выделяет необходимость «водяных знаков» для ИИ-контента, чтобы с вероятностью 99,999% можно было отличить сгенерированный материал от человеческого.

### 🧠 Исследовательский фронт: почему современным моделям не хватает «мировых моделей»
[[JUMP:14:49]]

Несмотря на впечатляющие успехи трансформерных моделей, Йошуа Бенжио видит в них фундаментальные недостатки. Главная проблема — отсутствие «мировой модели» (world model), которая позволила бы ИИ обоснованно рассуждать о реальности, а не просто имитировать текст.

*   **Проблема галлюцинаций:** По мнению гостя, текущие большие языковые модели часто «уверенно ошибаются», потому что у них нет разделения между знаниями о мире и механизмами принятия решений.
*   **Разделение знаний и логики:** Люди отделяют факты от стратегии действий. Например, чтобы водить машину, не обязательно каждый раз врезаться в препятствия — достаточно обладать ментальной моделью причинно-следственных связей.
*   **Пример с вычислениями:** Бенжио отмечает, что GPT часто ошибается даже в простых арифметических действиях с многозначными числами, потому что нейросеть пытается «вычислить» ответ вместо того, чтобы применить логический шаг.

### 🛠 Генеративные потоковые сети (GFlowNets)
[[JUMP:22:22]]

Для решения этих задач Бенжио и его группа развивают новый подход — **генеративные потоковые сети (GFlowNets)**.

*   **Принцип работы:** Это нейросети, обучающиеся выполнять вероятностный логический вывод (inference).
*   **Сотрудничество компонентов:** Вместо одного «черного ящика» система использует два компонента:
    1.  **World Model (мировая модель):** хранит знания о мире и проверяет логическую состоятельность предложений.
    2.  **Inference Machine (инференс-машина):** предлагает решения (например, этапы доказательства теоремы) и получает «вознаграждение» от мировой модели за их логичность.
*   **Байесовский подход:** Важнейшим отличием является отказ от попытки найти «единственно верную» теорию. Бенжио считает, что модель должна оперировать распределением вероятностей над множеством теорий, чтобы избегать категорических ошибок.

Исследования в этом направлении уже активно ведутся. В частности, работа 2025 года (опубликованная летом) посвящена байесовскому обучению причинно-следственным структурам с помощью GFlowNets, где система учится генерировать графы причинности, соответствующие наблюдаемым данным.