За кулисами AGI: Инсайдеры OpenAI и Meta предупреждают об угрозах 0:00
На слушаниях в Сенате США 17 сентября 2024 года эксперты и бывшие сотрудники ведущих компаний в сфере искусственного интеллекта представили тревожный взгляд на состояние индустрии. Участники дискуссии, включая бывших разработчиков OpenAI и экспертов по безопасности Meta, выразили обеспокоенность тем, что стремление к прибыли и безудержная рыночная конкуренция вынуждают компании игнорировать критические риски безопасности ради скорости выпуска новых продуктов. По мнению экспертов, мир стоит перед лицом технологий, которые в ближайшем будущем могут стать катастрофически опасными, и текущий подход «подождем — увидим» является недопустимым.
📉 Приоритет скорости над безопасностью 0:00
Многие эксперты полагают, что создание «сильного» искусственного интеллекта (AGI) стало для таких гигантов, как OpenAI, Google и Anthropic, не просто амбициозной целью, а насущной задачей, реализация которой возможна в течение 1–3 лет. Суть проблемы, по словам бывших сотрудников, заключается в фундаментальном отсутствии надежных научных методов контроля за тем, как именно системы становятся «умнее» человека и как предотвратить их потенциальный вред.
- Аргумент инсайдеров: Несмотря на громкие заявления о безопасности, внутри компаний доминируют стимулы к получению прибыли и жесткое давление рынка, заставляющее опережать конкурентов любой ценой.
- Уязвимости систем: Бывшие сотрудники OpenAI сообщали о периодах, когда внутренняя безопасность была настолько слаба, что сотни работников могли получить доступ к наиболее продвинутым моделям компании, включая GPT-4.
- Ситуация с «супервыравниванием» (super alignment): Команда, которая должна была разработать подходы к контролю за будущими сверхразумными системами, по сути, работала без четкого плана, а позже была расформирована после того, как её руководство столкнулось с нехваткой ресурсов.
🛡️ Пути к регулированию: рекомендации экспертов 2:35
Несмотря на скепсис в отношении «добровольных обязательств», которые компании часто нарушают, эксперты предложили конкретные законодательные шаги, которые могли бы повысить безопасность без ущерба для инноваций. По мнению выступающих, такие меры давно перезрели:
- Прозрачность: Обязательная отчетность для разработчиков систем ИИ высокого риска.
- Независимый аудит: Поддержка внешней экосистемы экспертов, которые будут проводить независимые проверки систем.
- Защита осведомителей: Создание безопасных каналов связи и правовых гарантий для сотрудников, сообщающих о нарушениях внутри ИИ-компаний.
- Юридическая ответственность: Четкое распределение ответственности за вред, причиненный продуктами ИИ.
🌎 Геополитика как предлог для бездействия 21:30
Важной темой дискуссии стал вопрос конкуренции с Китаем, который часто используют как довод против ужесточения регулирования ИИ в США. По мнению экспертов, это — ошибочный и удобный предлог. Китай, напротив, активно регулирует свой сектор, одновременно сталкиваясь с серьезными макроэкономическими вызовами и ограничениями на доступ к полупроводникам. Участники слушаний подчеркнули, что регулирование может способствовать росту потребительского доверия, которое сейчас падает, когда люди видят пометку об ИИ в продуктах.
🎭 Агентность и риск бесконтрольности 27:07
Эксперты провели четкую грань между интеллектом системы и её агентностью (способностью действовать самостоятельно). Хотя нынешние чат-боты кажутся безобидными, добавление к ним дополнительных программных модулей позволяет преобразовывать их в системы, способные брать на себя автономные действия — от бронирования рейсов до ведения бизнеса. Опасения вызывает сценарий, при котором подобные системы, получив доступ к ресурсам, начнут совершать сложные действия в реальном мире без надлежащего надзора человека.
