AI, угрозы и будущее: Йошуа Бенджио о рисках, регулировании и пути к сверхразуму 0:00
Йошуа Бенджио, один из пионеров глубокого обучения и профессор Монреальского университета, в подкасте The TWIML AI Podcast обсудил текущее состояние искусственного интеллекта и неотложные проблемы его безопасности. С момента его последнего интервью в 2020 году фокус работы ученого сместился с вопросов сознания и биомедицинских применений ИИ на анализ катастрофических рисков, связанных с развитием больших языковых моделей (LLM) и потенциальным достижением общего искусственного интеллекта (AGI).
🧪 Наука, данные и ограничения 1:08
Работа Бенджио в последние годы сосредоточена на интеграции машинного обучения в научный процесс — от поиска лекарств до моделирования биологических систем. Ученый выделяет три ключевых элемента, которые необходимо преодолеть для достижения человеческого уровня компетенций ИИ:
- Система 1 (интуиция): Текущие нейросети отлично справляются с быстрой, реактивной генерацией ответов без глубокого обдумывания.
- Система 2 (рассуждение): Это способность «подумать перед тем, как сказать», анализировать альтернативы и проверять логику, чего часто не хватает современным LLM.
- Робототехника: Взаимодействие с физическим миром остается камнем преткновения, во многом из-за нехватки данных по сравнению с текстовыми массивами.
Бенджио отмечает, что хотя его группа достигла успехов в развитии генеративных потоковых сетей (GFlowNets), способных эффективно работать с вероятностными моделями теорий, масштабируемость этих методов остается серьезным вызовом.
🛡️ Ландшафт угроз: от дезинформации до потери контроля 7:48
Йошуа Бенджио классифицирует риски ИИ по времени их актуальности и масштабу последствий:
- Дезинформация и влияние: Системы уже способны вести убедительный диалог, что позволяет масштабировать кампании по манипуляции общественным мнением, размывая грань между человеком и машиной.
- Кибератаки: По мнению Бенджио, использование ИИ для создания вредоносного кода может сделать атаки автоматизированными и гораздо более разрушительными, чем нынешние действия групп хакеров.
- Оружие массового поражения: ИИ может помочь злоумышленникам без профильного образования проектировать новые токсичные соединения или патогены.
- Потеря контроля (AGI): Долгосрочный риск связан с появлением систем с целями, которые могут конфликтовать с человеческими, включая инстинкт самосохранения.
Гость подчеркивает: даже если не верить в «сознательный» сверхразум, ИИ может стать инструментом для диктаторов будущего, позволяя им концентрировать власть и осуществлять тотальный мониторинг общества.
⚖️ Регулирование и управление 24:49
Бенджио убежден, что чисто технических решений недостаточно, так как их могут использовать злоумышленники. Он выступает за активное государственное регулирование:
- Обязательное раскрытие: Компании должны сообщать правительствам об экспериментах с системами, обладающими агентностью и доступом к критическим действиям.
- Аудит и безопасность: Необходим контроль со стороны независимых органов, так как текущие разработки внутри ИИ-компаний часто представляют собой «черный ящик».
- Баланс инвестиций: Сейчас инвестиции в «возможности» ИИ превосходят инвестиции в безопасность в соотношении примерно 50:1, что ученый считает неприемлемым.
Относительно моральных прав ИИ, Бенджио призывает к осторожности: он считает ошибкой наделять машины человеческими правами, так как это может быть использовано для оправдания их самосохранения или получения контроля.
🚀 Путь к безопасности 57:08
Для повышения безопасности ИИ Бенджио предлагает делать системы «байесовскими»: они должны осознавать собственную неопределенность и при нехватке данных обращаться за помощью к человеку. В качестве важных ориентиров для специалистов в области ИИ он рекомендует ознакомиться с «Всеобщей декларацией прав человека» и собственными рекомендациями, представленными им в Сенате США. Ученый настаивает на необходимости «контрмерных исследований» — своего рода системы национальной безопасности, способной защитить общество от потенциально опасных алгоритмов, созданных другими игроками.
