Легендарный ученый, один из «отцов-основателей» современного глубокого обучения Йошуа Бенджио (Yoshua Bengio) стал гостем подкаста Eye on AI. В беседе с Крейгом Смитом он объяснил, почему решил подписать резонансное открытое письмо о приостановке обучения мощных моделей ИИ, а также подробно изложил свое видение следующего технологического шага: перехода от простых языковых моделей к архитектурам с «моделями мира» (World Models) и логическим выводом.
🛑 Почему Йошуа Бенджио подписал письмо о паузе в обучении ИИ 1:49
Йошуа Бенджио, известный своей взвешенной позицией и скептицизмом относительно скорого появления ИИ человеческого уровня (AGI), удивил многих коллег, став одним из самых заметных подписантов письма Future of Life Institute . По словам ученого, его решение продиктовано не внезапным страхом, а многолетним наблюдением за тем, как человечество распоряжается мощными инструментами.
Основные аргументы Бенджио:
- Риск злоупотребления: Чем мощнее технология, тем опаснее она в плохих руках. Бенджио сравнивает ИИ с биотехнологиями, которые могут принести огромную пользу, но требуют исключительной «мудрости» в управлении .
- Неадекватность рыночных механизмов: Существующая конкуренция заставляет компании торопиться, игнорируя меры предосторожности .
- Порог теста Тьюринга: Ученый утверждает, что мы достигли критического порога . Теперь машины могут вести диалог так, что их невозможно отличить от человека. По мнению Бенджио, это несет прямую угрозу демократии через манипуляцию общественным мнением .
Ученый признает, что реальная шестимесячная пауза в разработке всеми компаниями маловероятна . Однако письмо выполнило роль «тревожной кнопки», чтобы привлечь внимание правительств и запустить международную координацию. Бенджио считает, что регулирование должно быть таким же строгим, как в авиации или фармацевтике .
🌍 Проблема современных LLM: отсутствие «модели мира» 14:54
Несмотря на впечатляющие успехи трансформерных моделей, Йошуа Бенджио подчеркивает их фундаментальную ограниченность. Главная проблема — отсутствие заземления (grounding) в реальности .
По мнению Бенджио, человеческий разум четко разделяет два процесса:
В качестве примера ученый приводит AlphaGo: система знает правила игры (маленькая модель мира), но её нейросеть тратит огромные ресурсы на инференс — просчет того, какой ход приведет к победе . В больших языковых моделях (LLM) этого разделения нет: знания и механизмы ответа перемешаны в одной гигантской сети, что ведет к оверфиттингу (переобучению) и галлюцинациям .
Бенджио приводит личный пример: «В моей жизни была всего одна автомобильная авария. Я никогда не падал с обрыва, но я могу легко представить последствия этого, потому что у меня есть абстрактная модель мира» . Современный ИИ пока не обладает такой способностью к причинно-следственному моделированию без прямого опыта.
🧠 GFlowNets: новая архитектура для разумных машин 21:43
Группа Бенджио разрабатывает новый фреймворк для обучения машин вывода — Generative Flow Networks (GFlowNets) . Это попытка объединить глубокое обучение с логикой классического ИИ, но без «ручного» написания правил.
Ключевые особенности GFlowNets:
- Вероятностный вывод: Сеть учится делать логические шаги (например, строить математическое доказательство), получая награду, если результат согласуется с фактами .
- Поиск истины: В отличие от LLM, которые просто имитируют текст, GFlowNets обучаются быть внутренне непротиворечивыми и рациональными .
- Система 1 и Система 2: Бенджио опирается на идеи Даниэля Канемана. LLM сейчас — это интуитивная «Система 1». GFlowNets должны добавить ИИ «Систему 2» — медленное, осознанное рассуждение .
По мнению Бенджио, ИИ должен понимать концепцию истины на фундаментальном уровне, а не просто предсказывать следующее слово на основе статистики .
🎲 Байесовский подход к реальности 28:34
Одной из самых опасных черт нынешних ИИ Бенджио считает их «самоуверенную ошибочность» . Когда ChatGPT ошибается, он делает это с полной уверенностью.
Ученый утверждает, что правильный путь — это не создание одной «идеальной» модели мира, а использование распределения вероятностей по множеству возможных моделей .
- Принцип науки: Ученые всегда имеют несколько конкурирующих теорий, объясняющих данные. Если теории согласуются — мы можем действовать уверенно. Если нет — нужно быть осторожным .
- Масштабируемость: Хотя байесовский подход математически сложен, Бенджио считает, что огромные нейросети способны эффективно его аппроксимировать .
🌀 «Mind-twisting» концепция: генерация модели мира на лету 33:17
В финале беседы Йошуа Бенджио делится «взрывающей мозг» идеей, к которой пришла его группа. Возможно, нам вообще не нужна отдельная статичная нейросеть в качестве «модели мира» .
Вместо этого предлагается архитектура, где:
- Существует только генеративная машина вывода.
- Она генерирует куски модели мира на лету, в зависимости от текущей задачи .
- Каждая сгенерированная «теория» проверяется на соответствие наблюдаемым данным (как формула $F=ma$ проверяется в эксперименте) .
Это позволяет системе быть гибкой и пересматривать свои взгляды. Исследования в этом направлении уже ведутся: летом прошлого года вышла работа «Bayesian Structure Learning with Generative Flow Networks», где GFlowNet училась генерировать графы причинно-следственных связей .
Бенджио резюмирует, что такой подход математически более рационален, так как позволяет учитывать все возможные теории и усреднять их решения, а не слепо верить одной наиболее вероятной гипотезе .
