# Инсайдеры OpenAI и Meta: почему индустрия ИИ игнорирует риски безопасности

Источник: https://www.youtube.com/watch?v=teiFPBCbgIc
Канал: Wes Roth
Опубликовано: 29.10.2024

---

## За кулисами AGI: Инсайдеры OpenAI и Meta предупреждают об угрозах
[[JUMP:0:00]]

На слушаниях в Сенате США 17 сентября 2024 года эксперты и бывшие сотрудники ведущих компаний в сфере искусственного интеллекта представили тревожный взгляд на состояние индустрии. Участники дискуссии, включая бывших разработчиков OpenAI и экспертов по безопасности Meta, выразили обеспокоенность тем, что стремление к прибыли и безудержная рыночная конкуренция вынуждают компании игнорировать критические риски безопасности ради скорости выпуска новых продуктов. По мнению экспертов, мир стоит перед лицом технологий, которые в ближайшем будущем могут стать катастрофически опасными, и текущий подход «подождем — увидим» является недопустимым.

## 📉 Приоритет скорости над безопасностью
[[JUMP:0:00]]

Многие эксперты полагают, что создание «сильного» искусственного интеллекта (AGI) стало для таких гигантов, как OpenAI, Google и Anthropic, не просто амбициозной целью, а насущной задачей, реализация которой возможна в течение 1–3 лет. Суть проблемы, по словам бывших сотрудников, заключается в фундаментальном отсутствии надежных научных методов контроля за тем, как именно системы становятся «умнее» человека и как предотвратить их потенциальный вред.

*   **Аргумент инсайдеров:** Несмотря на громкие заявления о безопасности, внутри компаний доминируют стимулы к получению прибыли и жесткое давление рынка, заставляющее опережать конкурентов любой ценой.
*   **Уязвимости систем:** Бывшие сотрудники OpenAI сообщали о периодах, когда внутренняя безопасность была настолько слаба, что сотни работников могли получить доступ к наиболее продвинутым моделям компании, включая GPT-4.
*   **Ситуация с «супервыравниванием» (super alignment):** Команда, которая должна была разработать подходы к контролю за будущими сверхразумными системами, по сути, работала без четкого плана, а позже была расформирована после того, как её руководство столкнулось с нехваткой ресурсов.

## 🛡️ Пути к регулированию: рекомендации экспертов
[[JUMP:2:35]]

Несмотря на скепсис в отношении «добровольных обязательств», которые компании часто нарушают, эксперты предложили конкретные законодательные шаги, которые могли бы повысить безопасность без ущерба для инноваций. По мнению выступающих, такие меры давно перезрели:

1.  **Прозрачность:** Обязательная отчетность для разработчиков систем ИИ высокого риска.
2.  **Независимый аудит:** Поддержка внешней экосистемы экспертов, которые будут проводить независимые проверки систем.
3.  **Защита осведомителей:** Создание безопасных каналов связи и правовых гарантий для сотрудников, сообщающих о нарушениях внутри ИИ-компаний.
4.  **Юридическая ответственность:** Четкое распределение ответственности за вред, причиненный продуктами ИИ.

## 🌎 Геополитика как предлог для бездействия
[[JUMP:21:30]]

Важной темой дискуссии стал вопрос конкуренции с Китаем, который часто используют как довод против ужесточения регулирования ИИ в США. По мнению экспертов, это — ошибочный и удобный предлог. Китай, напротив, активно регулирует свой сектор, одновременно сталкиваясь с серьезными макроэкономическими вызовами и ограничениями на доступ к полупроводникам. Участники слушаний подчеркнули, что регулирование может способствовать росту потребительского доверия, которое сейчас падает, когда люди видят пометку об ИИ в продуктах.

## 🎭 Агентность и риск бесконтрольности
[[JUMP:27:07]]

Эксперты провели четкую грань между интеллектом системы и её агентностью (способностью действовать самостоятельно). Хотя нынешние чат-боты кажутся безобидными, добавление к ним дополнительных программных модулей позволяет преобразовывать их в системы, способные брать на себя автономные действия — от бронирования рейсов до ведения бизнеса. Опасения вызывает сценарий, при котором подобные системы, получив доступ к ресурсам, начнут совершать сложные действия в реальном мире без надлежащего надзора человека.