# Йошуа Бенджио о рисках ИИ: „Нам нужна не только технология, но и регулирование“

Источник: https://www.youtube.com/watch?v=ojZB6fzpXGQ
Канал: The TWIML AI Podcast with Sam Charrington
Опубликовано: 06.11.2023

---

## AI, угрозы и будущее: Йошуа Бенджио о рисках, регулировании и пути к сверхразуму
[[JUMP:0:00]]

Йошуа Бенджио, один из пионеров глубокого обучения и профессор Монреальского университета, в подкасте The TWIML AI Podcast обсудил текущее состояние искусственного интеллекта и неотложные проблемы его безопасности. С момента его последнего интервью в 2020 году фокус работы ученого сместился с вопросов сознания и биомедицинских применений ИИ на анализ катастрофических рисков, связанных с развитием больших языковых моделей (LLM) и потенциальным достижением общего искусственного интеллекта (AGI).

### 🧪 Наука, данные и ограничения
[[JUMP:1:08]]

Работа Бенджио в последние годы сосредоточена на интеграции машинного обучения в научный процесс — от поиска лекарств до моделирования биологических систем. Ученый выделяет три ключевых элемента, которые необходимо преодолеть для достижения человеческого уровня компетенций ИИ:

*   **Система 1 (интуиция):** Текущие нейросети отлично справляются с быстрой, реактивной генерацией ответов без глубокого обдумывания.
*   **Система 2 (рассуждение):** Это способность «подумать перед тем, как сказать», анализировать альтернативы и проверять логику, чего часто не хватает современным LLM.
*   **Робототехника:** Взаимодействие с физическим миром остается камнем преткновения, во многом из-за нехватки данных по сравнению с текстовыми массивами.

Бенджио отмечает, что хотя его группа достигла успехов в развитии генеративных потоковых сетей (GFlowNets), способных эффективно работать с вероятностными моделями теорий, масштабируемость этих методов остается серьезным вызовом.

### 🛡️ Ландшафт угроз: от дезинформации до потери контроля
[[JUMP:7:48]]

Йошуа Бенджио классифицирует риски ИИ по времени их актуальности и масштабу последствий:

1.  **Дезинформация и влияние:** Системы уже способны вести убедительный диалог, что позволяет масштабировать кампании по манипуляции общественным мнением, размывая грань между человеком и машиной.
2.  **Кибератаки:** По мнению Бенджио, использование ИИ для создания вредоносного кода может сделать атаки автоматизированными и гораздо более разрушительными, чем нынешние действия групп хакеров.
3.  **Оружие массового поражения:** ИИ может помочь злоумышленникам без профильного образования проектировать новые токсичные соединения или патогены.
4.  **Потеря контроля (AGI):** Долгосрочный риск связан с появлением систем с целями, которые могут конфликтовать с человеческими, включая инстинкт самосохранения.

Гость подчеркивает: даже если не верить в «сознательный» сверхразум, ИИ может стать инструментом для диктаторов будущего, позволяя им концентрировать власть и осуществлять тотальный мониторинг общества.

### ⚖️ Регулирование и управление
[[JUMP:24:49]]

Бенджио убежден, что чисто технических решений недостаточно, так как их могут использовать злоумышленники. Он выступает за активное государственное регулирование:

*   **Обязательное раскрытие:** Компании должны сообщать правительствам об экспериментах с системами, обладающими агентностью и доступом к критическим действиям.
*   **Аудит и безопасность:** Необходим контроль со стороны независимых органов, так как текущие разработки внутри ИИ-компаний часто представляют собой «черный ящик».
*   **Баланс инвестиций:** Сейчас инвестиции в «возможности» ИИ превосходят инвестиции в безопасность в соотношении примерно 50:1, что ученый считает неприемлемым.

Относительно моральных прав ИИ, Бенджио призывает к осторожности: он считает ошибкой наделять машины человеческими правами, так как это может быть использовано для оправдания их самосохранения или получения контроля.

### 🚀 Путь к безопасности
[[JUMP:57:08]]

Для повышения безопасности ИИ Бенджио предлагает делать системы «байесовскими»: они должны осознавать собственную неопределенность и при нехватке данных обращаться за помощью к человеку. В качестве важных ориентиров для специалистов в области ИИ он рекомендует ознакомиться с «Всеобщей декларацией прав человека» и собственными рекомендациями, представленными им в Сенате США. Ученый настаивает на необходимости «контрмерных исследований» — своего рода системы национальной безопасности, способной защитить общество от потенциально опасных алгоритмов, созданных другими игроками.