Йошуа Бенжио о будущем ИИ: от борьбы за регулирование к созданию «мировых моделей» 0:00
В недавнем выпуске подкаста Eye on AI ведущий Крейг Смит беседует с Йошуа Бенжио, одним из «отцов» глубокого обучения и лауреатом премии Тьюринга. В центре дискуссии — необходимость регулирования быстро развивающихся технологий, причины подписания знаменитого «письма о паузе» в разработке ИИ и исследовательский поиск новых архитектур, которые позволили бы машинам рассуждать подобно человеку.
⚖️ Регулирование ИИ и «письмо о паузе» 1:53
Йошуа Бенжио стал одним из самых заметных подписантов письма, призывающего к временному ограничению разработки мощных систем ИИ. По его мнению, общество столкнулось с угрозой, к которой оно не готово.
- Риски: Бенжио утверждает, что текущая конкуренция между компаниями провоцирует их пренебрегать мерами безопасности, действуя в спешке.
- Смена парадигмы: Ученый отмечает, что системы ИИ преодолели порог теста Тьюринга, что делает их использование для манипуляции общественным мнением и подрыва демократии крайне опасным.
- Регулирование: По словам Бенжио, ИИ должен быть строго регламентирован, подобно авиации, фармацевтике или химической промышленности.
- Отношение к «паузе»: Хотя критики часто видели в письме лишь привлечение внимания, Бенжио настаивает, что призыв к координации между компаниями и на международном уровне критически важен.
В ходе беседы выяснилось, что Бенжио не является автором текста письма и не координирует законодательные инициативы напрямую, однако он активно участвует в работе Global Partnership on AI. Он подчеркнул, что работа по регулированию идет полным ходом: Канада готовится принять соответствующее законодательство, а Европа занимается этим вопросом на протяжении нескольких лет. В качестве конкретной меры безопасности он выделяет необходимость «водяных знаков» для ИИ-контента, чтобы с вероятностью 99,999% можно было отличить сгенерированный материал от человеческого.
🧠 Исследовательский фронт: почему современным моделям не хватает «мировых моделей» 14:49
Несмотря на впечатляющие успехи трансформерных моделей, Йошуа Бенжио видит в них фундаментальные недостатки. Главная проблема — отсутствие «мировой модели» (world model), которая позволила бы ИИ обоснованно рассуждать о реальности, а не просто имитировать текст.
- Проблема галлюцинаций: По мнению гостя, текущие большие языковые модели часто «уверенно ошибаются», потому что у них нет разделения между знаниями о мире и механизмами принятия решений.
- Разделение знаний и логики: Люди отделяют факты от стратегии действий. Например, чтобы водить машину, не обязательно каждый раз врезаться в препятствия — достаточно обладать ментальной моделью причинно-следственных связей.
- Пример с вычислениями: Бенжио отмечает, что GPT часто ошибается даже в простых арифметических действиях с многозначными числами, потому что нейросеть пытается «вычислить» ответ вместо того, чтобы применить логический шаг.
🛠 Генеративные потоковые сети (GFlowNets) 22:22
Для решения этих задач Бенжио и его группа развивают новый подход — генеративные потоковые сети (GFlowNets).
- Принцип работы: Это нейросети, обучающиеся выполнять вероятностный логический вывод (inference).
- Сотрудничество компонентов: Вместо одного «черного ящика» система использует два компонента:
- World Model (мировая модель): хранит знания о мире и проверяет логическую состоятельность предложений.
- Inference Machine (инференс-машина): предлагает решения (например, этапы доказательства теоремы) и получает «вознаграждение» от мировой модели за их логичность.
- Байесовский подход: Важнейшим отличием является отказ от попытки найти «единственно верную» теорию. Бенжио считает, что модель должна оперировать распределением вероятностей над множеством теорий, чтобы избегать категорических ошибок.
Исследования в этом направлении уже активно ведутся. В частности, работа 2025 года (опубликованная летом) посвящена байесовскому обучению причинно-следственным структурам с помощью GFlowNets, где система учится генерировать графы причинности, соответствующие наблюдаемым данным.
