Скотт Винер о законе SB 1047: регулирование безопасности «фронтирных» моделей ИИ

The Cognitive Revolution 1 тыс. 54 мин 3 мин 10.05.2024
Главное

Регулирование «фронтирных» моделей: Скотт Винер о законопроекте SB 1047 0:26

Технологический ландшафт искусственного интеллекта стремительно развивается, вызывая как воодушевление, так и опасения по поводу потенциальных рисков. Сенатор штата Калифорния Скотт Винер (Scott Wiener) представил законопроект SB 1047, направленный на установление стандартов безопасности для наиболее мощных систем ИИ. В интервью подкасту The Cognitive Revolution сенатор обсудил баланс между поддержкой инноваций и необходимостью предотвращения катастрофических последствий.

⚖️ Концепция и цели законодательства 8:30

Законопроект SB 1047 ориентирован исключительно на «фронтирные» модели — системы, обученные с использованием экстремально больших вычислительных мощностей (порог установлен на уровне $10^{26}$ флопсов, аналогично исполнительному указу президента Байдена).

Основные задачи инициативы:

По словам Винера, он стремится избежать микроменеджмента со стороны государства, предпочитая гибкий подход, который не задушит инновации. Законодатель подчеркнул, что под «катастрофическим вредом» в тексте документа понимаются конкретные угрозы: использование моделей для создания ядерного, химического или биологического оружия, атаки на критическую инфраструктуру с ущербом от $500 млн, или масштабные киберпреступления.

🛠️ Ответственность и правоприменение 21:50

Винер особо подчеркнул, что SB 1047 не предусматривает создания «полицейского государства» вокруг ИИ-разработок.

🌐 Отношение индустрии и открытый исходный код 26:43

Ситуация вокруг поддержки закона неоднозначна. Винер отметил, что многие разработчики высказываются в поддержку инициативы в частных разговорах, опасаясь публичности из-за политики Кремниевой долины. В то же время такие крупные организации, как TechNet, представляющие интересы технологических гигантов, выступают против.

Отдельной темой дискуссии стали модели с открытым исходным кодом (open source). Сенатор заверил, что его офис активно сотрудничает с экспертами этого сообщества, чтобы найти компромисс. В качестве возможного решения обсуждается идея передачи ответственности за безопасность при дообучении моделей: если внешний разработчик вносит значительные изменения (например, более 10% вычислительных затрат), ответственность за проверку безопасности может перейти от автора оригинальной модели к нему.

🛡️ Проблема независимого тестирования 43:52

Один из самых острых вопросов касается независимости оценки. Ведущий подкаста, имевший личный опыт участия в «красной команде» (red team) GPT-4, выразил обеспокоенность тем, что текущая ситуация, при которой доступ к моделям полностью зависит от доброй воли компаний, неэффективна.

Винер признал, что вопрос об аккредитации независимых сторонних аудиторов — это крайне важная тема для будущего диалога. Он провёл аналогию со своим прошлым законом о раскрытии данных об углеродных выбросах, где правительство сертифицировало квалифицированных аудиторов. Однако сенатор подчеркнул: сейчас его первоочередная задача — внедрить базовый уровень безопасности, а дальнейшее усложнение процедур может быть предметом будущих дискуссий.

💬 Цитаты

«Жизнь связана с риском, и мы хотим, чтобы люди хотя бы пытались смягчить или снизить эти риски.»

Скотт Винер 20:45

«Для folks, которые делают разумное хорошее тестирование, этот законопроект окажет очень ограниченное влияние, потому что они уже это делают.»

Скотт Винер 29:45
👥 Спикеры
🔗 Упомянутые сайты и проекты
📖 Термины
Фронтирные модели (Frontier models)
Наиболее современные и мощные модели ИИ, находящиеся на переднем крае технологического развития.
Red teaming
Практика тестирования систем безопасности путем имитации атак, направленных на поиск уязвимостей.
SB 1047
Законопроект штата Калифорния о безопасности и управлении рисками для передовых моделей искусственного интеллекта.
Флопсы (FLOPS)
Мера вычислительной мощности, используемая в контексте обучения нейросетей.
📊 Цифры
⚖️ Другая сторона
Право и общество Scott Wiener SB 1047 AI safety Frontier AI The Cognitive Revolution