SB 1047: Безопасность ИИ или бюрократическая ловушка?

Законодатели Калифорнии пытаются «законсервировать будущее в янтаре», продвигая закон SB 1047 под эгидой безопасности, но рискуют лишь затормозить инновации и создать бюрократический аппарат, далекий от реальных угроз. Пока разработчики и критики спорят о том, как измерить катастрофические риски ИИ, само существование этого акта становится символом фундаментального конфликта между попыткой госконтроля и неизбежной динамикой экспоненциального роста технологий.

⚖️ Законопроект SB 1047: Баланс безопасности и инноваций 0:24

Обсуждение калифорнийского законопроекта SB 1047, официально именуемого «Законом о безопасных и надежных инновациях для моделей ИИ фронтирного уровня» (Safe and Secure Innovation for Frontier Artificial Intelligence Models Act), стало центральной темой дискуссии. Законопроект, продвигаемый сенатором штата Скоттом Винером, представляет собой попытку государственного регулирования наиболее мощных систем искусственного интеллекта.

Сторонники законопроекта, включая Нейтана Кэлвина из Центра безопасности ИИ (Center for AI Safety Action Fund), подчеркивают, что документ не является попыткой захвата власти или антитехнологической мерой. Вместо этого, по их словам, это целевое усилие по управлению критическими «хвостовыми рисками» (tail risks), которые несут в себе самые крупные модели ИИ. Основная идея заключается в том, что текущая коммерческая конкуренция подталкивает разработчиков к выпуску моделей максимально быстро, что создает потенциал для катастрофических последствий. При этом авторы стремятся избежать чрезмерного давления на стартапы и малых игроков, оставляя вопросы, касающиеся предвзятости моделей или влияния на рынок труда, для других законодательных инициатив.

Критики, в частности Дин Болл из Mercatus Center, выражают обеспокоенность тем, что любая форма централизованного регулирования ИИ неизбежно столкнется с проблемами «политической экономии», где новые агентства со временем расширяют свои полномочия, подавляя инновации.

⚠️ Риски ИИ: катастрофические угрозы 9:47

В центре внимания SB 1047 находятся не повседневные проблемы ИИ, а риски, классифицируемые как «катастрофические» и угрожающие национальной безопасности. Участники дискуссии выделили несколько конкретных сценариев, вызывающих наибольшее беспокойство:

• Биотерроризм и кибератаки: Использование моделей ИИ злоумышленниками для создания биологического оружия или проведения атак на критически важную национальную инфраструктуру.
• Саморепликация и потеря контроля: Разработка моделей, обладающих способностью к саморепликации или деструктивному поведению, которое крайне сложно предотвратить или обратить вспять.

Нейтан Кэлвин отмечает, что эти угрозы перекликаются с рисками, ранее обозначенными в федеральных исполнительных указах, и подчеркивает, что законодательство необходимо именно для закрепления этих стандартов безопасности на уровне штата.

🏛️ Централизованное регулирование vs Децентрализация 13:06

Ключевым пунктом разногласий стал вопрос о методах государственного вмешательства. Дин Болл аргументирует, что ИИ является технологией общего назначения (GPT — general purpose technology), сравнимой с интернетом или электричеством, и попытка создать «Министерство ИИ» или централизованного регулятора в корне неверна.

Вместо одного «большого билля» Болл предлагает подход, при котором существующие государственные агентства адаптируют свои правила под специфику ИИ в рамках своих компетенций. Он опасается, что создание регулятора, такого как «Отдел моделей фронтирного уровня» (Frontier Model Division), неизбежно приведет к бюрократизации и неэффективности. С другой стороны, сторонники законопроекта утверждают, что SB 1047 — это не классический лицензионный режим, а скорее механизм ответственности через Генерального прокурора, направленный на обеспечение того, чтобы компании несли ответственность за безопасность своих самых мощных продуктов.

☢️ Аналогия с атомной энергетикой 15:22

В ходе дебатов часто поднимается вопрос о том, насколько уместно сравнивать риски ИИ с рисками ядерной энергетики. Дин Болл указывает на существенное различие: регуляторная база для ядерной отрасли в США (NRC) была сформирована уже после ряда серьезных инцидентов, тогда как «ядерного Чернобыля» в области ИИ еще не произошло.

Болл предупреждает: введение жестких запретов до того, как технология проявит себя в негативном ключе, может создать «ложное чувство безопасности», одновременно блокируя прогресс. Ранее в разговоре они касались темы финансирования регулятора за счет штрафов, что, по мнению критиков, создает опасную аналогию с тем, как были выстроены финансовые стимулы для регуляции ядерной энергетики.

⚖️ Риски регуляторного захвата и финансирования Frontier Model Division 25:07

Одной из наиболее острых тем в дискуссии вокруг законопроекта SB 1047 является вопрос финансирования создаваемого регулятора — Frontier Model Division (FMD). Проект предлагает модель, при которой регулируемые компании сами оплачивают деятельность надзорного органа. Критики указывают, что такая структура создает прямые предпосылки для «регуляторного захвата» (regulatory capture).

Поскольку зарплаты чиновников FMD будут напрямую зависеть от средств индустрии, которую они призваны контролировать, возникает фундаментальный конфликт интересов. Кроме того, самофинансирование изолирует FMD от стандартных законодательных бюджетных процессов. В обычной системе, если опасения относительно рисков ИИ (о которых ранее говорили эксперты вроде Джеффри Хинтона) не оправдаются, законодатели могли бы сократить финансирование. Однако при текущей схеме регулятор оказывается «законсервирован» в своей деятельности, будучи защищенным от политических компромиссов и демократического контроля. Ранее в разговоре участники коснулись темы общего устройства законодательства, но здесь акцент делается именно на том, что регулятор де-факто выпадает из системы сдержек и противовесов, что выглядит рискованно на фоне существующего в Калифорнии бюджетного дефицита в 60 миллиардов долларов.

💻 Дискуссия о вычислительном пороге в 10^26 флопс 40:55

Техническим «якорем» законопроекта SB 1047 выступает требование о классификации моделей на основе вычислительной мощности, затраченной на их обучение. Порог в $10^{26}$ флопс взят за основу из аналогичных требований исполнительного указа (Executive Order) президента США. Модели, превышающие этот порог, автоматически попадают под действие жестких стандартов безопасности, если разработчик не может доказать обратное.

Критики, однако, ставят под сомнение научную обоснованность именно этой цифры. Существует мнение, что использование вычислительных мощностей в качестве метрики — не самый удачный подход, так как индустрия постоянно стремится к повышению эффективности обучения, и такой «потолок» может стимулировать регулятора к его снижению с течением времени.

• Для достижения $10^{26}$ флопс требуются значительные инвестиции: текущие оценки затрат на обучение моделей уровня Llama 3 (которые приближаются к этому порогу) составляют порядка 200 миллионов долларов в виде затрат на вычислительные ресурсы.
• Точное количество часов использования H100 GPU для подобных моделей исчисляется миллионами, что делает порог пропуском в «высшую лигу» разработчиков.
• На данный момент нет четких доказательств того, что этот порог был кем-то преодолен, хотя компании уровня OpenAI или Google могут находиться в этой зоне.

Оппоненты законопроекта подчеркивают: если законодатели с трудом могут определить объективную техническую метрику, это лишь подтверждает тезис о том, что регулирование на уровне базовых моделей — не лучший путь развития отрасли.

🔓 Ответственность за open-source и риски модификаций 43:34

Одним из самых спорных аспектов законопроекта является ответственность разработчиков за «открытые» модели. Согласно SB 1047, если компания выпускает модель в публичный доступ, она сохраняет ответственность за последствия, даже если вредоносные модификации были созданы третьими лицами.

Это требование накладывает на разработчиков обязанность гарантировать, что модель не только безопасна в исходном виде, но и не может быть легко «взломана» или перенастроена для опасных целей при дообучении (fine-tuning). Исследования, например, работы группы FAR AI, показывают, что даже небольшое дообучение на специфических наборах данных может снять программные ограничения безопасности, установленные разработчиками. В контексте законопроекта это означает, что разработчик должен доказать: его модель защищена от подобного «непреднамеренного» разблокирования возможностей. Сторонники идеи регулирования сравнивают это с политикой в области ядерных материалов, где ответственность лежит на тех, кто обеспечивает их первичную безопасность, однако скептики парируют, что ИИ является технологией общего назначения (general-purpose technology), и попытки ограничить её на уровне создания «статистического анализа» нарушают конституционные права.

🏢 Лабораторный лоббизм и научный вакуум 55:38

Позиции техгигантов и призрак «регуляторного захвата»

Один из самых острых вопросов вокруг законопроекта SB 1047 — кому он на самом деле выгоден. Существует мнение, что документ был фактически написан под диктовку крупнейших лабораторий, чтобы зацементировать их доминирование. Однако реальность сложнее. На текущий момент «живыми игроками» на рынке являются OpenAI, Google и Anthropic. Все три компании уже внедряют внутренние протоколы безопасности: у Anthropic есть «Политика ответственного масштабирования» (RSP), у OpenAI — свои процедуры тестирования перед релизом GPT-4.

На самом деле, законопроект кажется направленным не на лидеров, которые и так «играют по правилам», а на вторую волну компаний — условные «следующие полдюжины». Главной мишенью здесь выглядит Meta, чья стратегия строится на открытости. Если Meta не сможет гарантировать, что её модели после «лёгкой модификации» пользователями не станут опасными, это поставит под удар всю её бизнес-модель.

Хотя в офисе сенатора Винера подтверждают контакты с представителями OpenAI и Anthropic, утверждение, что они сами «принесли» этот закон, опровергается как ложное. Компании скорее выражают осторожную обеспокоенность формулировками и стремятся к их уточнению. Тем не менее, эксперты отмечают: даже если регуляторный захват не был целью авторов, он вполне может стать побочным эффектом, вытесняя стартапы и академическое сообщество, которые не обладают ресурсами гигантов.

Научный фундамент против «вайб-регулирования»

Критическим слабым местом текущего законодательства является отсутствие зрелой научной базы. Сегодняшние аргументы в пользу жёстких порогов безопасности часто кажутся основанными на «вайбах» и интуиции, а не на эмпирических данных. Мы никогда раньше в истории не применяли «принцип предосторожности» и режим ответственности к программному обеспечению в таком масштабе.

Проблема SB 1047 заключается в том, что он переворачивает нормальный порядок действий с ног на голову:

• Сначала должна идти активная научная работа по изучению ИИ.
• На её основе должны создаваться стандарты тестирования (red teaming) и безопасности.
• И только затем эти стандарты должны фиксироваться в законе.

Вместо этого законопроект предлагает компаниям «разобраться самим», угрожая судебными исками и обвинениями в лжесвидетельстве, если регулятору не понравится результат. Такой подход напоминает европейскую модель регулирования: «Сделайте что-нибудь, а если нам не понравится — мы вас оштрафуем». Это создаёт правовую неопределённость, которая особенно губительна для инноваций вне стен крупнейших корпораций.

Удар по Open Source и «налог на открытость»

Для сообщества открытого исходного кода SB 1047 выглядит как экзистенциальная угроза. Хотя заявления о том, что закон «делает open source незаконным», являются гиперболой, в них есть зерно истины. Основной камень преткновения — ответственность разработчика за то, что пользователи делают с моделью «ниже по потоку» (downstream).

Представьте гипотетическую Llama 4. Если она обладает скрытыми возможностями по созданию биологического оружия или поиску уязвимостей «нулевого дня», разработчик может наложить на неё фильтры безопасности (RLHF). Однако исследования показывают, что эти возможности остаются внутри весов модели и могут быть легко «вскрыты» с помощью дообучения на небольшом наборе данных.

В этой ситуации возникают две противоположные позиции:

1. Позиция регулятора: Если модель можно превратить в оружие путём дообучения, её небезопасно выпускать в открытый доступ.
2. Позиция сообщества: Модели находятся слишком «низко в стеке» технологий, чтобы накладывать на них такую ответственность. Запрет на публикацию весов затормозит научный прогресс, который как раз и необходим для создания тех самых стандартов безопасности.

В конечном итоге, законопроект ставит Meta и другие открытые проекты перед невозможным выбором: либо отказаться от публикации передовых моделей, либо нести непредсказуемые юридические риски за действия миллионов пользователей. Ранее в разговоре участники касались того, как пороги вычислительной мощности могут затронуть не только гигантов, но и всё сообщество в долгосрочной перспективе.

🛡️ Аудит вместо запретов: Испытание на прочность и право на риск 1:15:14

В дискуссии о законопроекте SB 1047 центральное место занимает вопрос: как гарантировать безопасность, не превращая инновационный процесс в «застывшую в янтаре» индустрию?. Пока сторонники жесткого регулирования упирают на превентивные меры, звучит альтернативное предложение — перенести фокус с запретов на обязательное независимое «красное тестирование» (red teaming).

Независимое тестирование: «Вскрыть» модель до релиза 1:36:14

Одной из самых острых проблем текущего законопроекта участники называют отсутствие четких технических стандартов. Ранее в разговоре они касались общих целей SB 1047, но здесь фокус смещается на практику. Натан выдвигает концепцию «SB 1048» — упрощенного подхода, где вместо сложной бюрократии вводится прямой запрет на конкретные опасные возможности ИИ.

Но как определить, обладает ли модель такими способностями? Вместо того чтобы полагаться на внутренние отчеты лабораторий, предлагается открыть доступ к моделям для независимых третьих сторон еще на этапе обучения. Это позволило бы:

• Выявлять «эмерджентные» свойства, которые часто проявляются внезапно: Пейдж Бейли из Google DeepMind описывала случаи, когда модель совершала качественный скачок буквально за одну ночь.
• Привлечь сообщество энтузиастов: упоминается известный в узких кругах хакер Pliny, который мастерски «джейлбрейкает» публичные модели. Идея в том, что если мотивированное сообщество не сможет найти уязвимость, это даст гораздо более весомую гарантию безопасности, чем любая государственная проверка.

Такой аудит должен проводиться без передачи весов модели или раскрытия торговых секретов, но с возможностью «долбить» систему запросами до тех пор, пока тестеры не убедятся в её безотказности.

Проблема аккредитации: Как избежать формализма 1:38:52

Однако идея независимого аудита сталкивается с реальностью корпоративных стимулов. Есть серьезное опасение, что «независимое тестирование» превратится в индустрию «проставления галочек». Компании могут просто нанимать гигантов вроде Deloitte или Booz Allen Hamilton, которые за крупный чек подтвердят соответствие формальным критериям, не вникая в суть опасных возможностей.

Законопроект SB 1047 пытается решить это через процесс аккредитации аудиторов, но это создает новую дилемму:

1. Кто будет судьями? Механизм того, как именно государство будет аккредитовывать тестеров, остается туманным и потенциально коррупционным.
2. Эффективность против бюрократии. Регулятор в лице Frontier Model Division рискует стать структурой, чья главная задача — «прикрыть свой тыл» (cover their ass), а не реально обеспечить безопасность.

Вместо того чтобы создавать регулятора, который не строит ИИ-системы, но диктует правила, Натан предлагает сфокусироваться на создании надежной научной базы для оценки рисков, чего на данный момент катастрофически не хватает.

Осведомители и этика: Безопасность как общая ответственность 1:40:10

Технологии такого уровня не могут развиваться в полной изоляции от общества. Если мы не можем полностью полагаться на «добрую волю» Марка Цукерберга или других лидеров индустрии, нам нужны внутренние предохранители. Одним из таких механизмов является защита осведомителей (whistleblowers).

В контексте SB 1047 защита должна распространяться не только на штатных сотрудников лабораторий, но и на тех самых внешних специалистов, которых привлекают для тестирования. Это критически важно, поскольку:

• Инструменты внутреннего контроля могут подавляться под давлением жесткой конкуренции и эго руководителей.
• Сотрудники должны иметь юридическую «броню», чтобы сообщить о выявленных катастрофических угрозах, не опасаясь разрушения карьеры.

В конечном итоге, как отмечают участники подкаста, история не всегда движется «путем поднятых рук» на демократических голосованиях. Но создание системы, где независимые эксперты и честные сотрудники имеют право голоса, — это способ не складывать все яйца в одну корзину и не доверять судьбу человечества настроению одного CEO в конкретный понедельник.

🔮 Будущее ИИ: адаптация общества против технологической заморозки 1:54:09

Янтарь против эволюции: философский спор о технологическом будущем 1:54:09

Финал глубокой дискуссии вокруг законопроекта SB 1047 выявил фундаментальный философский раскол между участниками относительно того, как человечество должно встречать грядущую технологическую эпоху. Директор исследовательских программ Mercatus Center Дин Болл выразил мнение, что подобные регуляторные инициативы представляют собой «довольно отчаянную попытку заморозить настоящее в янтаре» и любой ценой избежать перехода в неизведанное будущее. С его точки зрения, стремление зафиксировать текущий статус-кво продиктовано естественным страхом перед неизвестностью. Однако сам Болл отмечает, что далеко не во всем доволен нынешним положением дел в мире, а потому открыт к радикальным изменениям, даже если они несут в себе серьезные сопутствующие риски.

Попытки искусственно ограничить развитие базовых моделей с помощью законодательства Болл сравнивает с попыткой бросить якорь в воображаемое морское дно, которого на самом деле не существует. Вместо создания подобных «законодательных фикций» государству необходимо признать неизбежность экспоненциального прогресса. Ранее в разговоре собеседники подробно касались вопросов ответственности за open-source модели, порогов опасности в $10^{26}$ флопс и роли крупных AI Labs, но Болл переводит дискуссию в более глобальное русло. Он призывает готовиться к миру, где эпистемологически или технически будет невозможно содержательно ограничить код — например, создать биологическую модель, которая гарантированно не сможет сгенерировать опасную последовательность ДНК. В такой реальности истинная опасность заключается не в технологиях, а в попытках отгородиться от них законами вместо развития внутренних способностей общества к адаптации и процветанию.

Новая реальность: трансформация государственного управления и бизнеса 1:54:09

Переход к новой эпохе неизбежно потребует полной перестройки ключевых институтов человеческой цивилизации. По мнению участников дискуссии, грядущие изменения радикально изменят саму природу дипломатии, методы ведения бизнеса и принципы государственного управления. Новая реальность, в которой передовые ИИ-модели станут неотъемлемой частью повседневности, будет характеризоваться гораздо более высокими ставками, масштабными угрозами и одновременно колоссальными возможностями.

Дин Болл выделяет несколько критически важных факторов, которые определят способность общества выжить и преуспеть в этой новой среде:

• Высокая скорость, гибкость и интеллект при принятии решений на государственном уровне.

• Отказ от жестких централизованных запретов в пользу динамического маневрирования.

• Широкие государственные инвестиции в публичную вычислительную инфраструктуру для академических исследователей, чтобы сбалансировать доминирование коммерческих лабораторий.

Участники беседы сходятся во мнении, что технологическая гонка приведет к появлению малых, но чрезвычайно эффективных и мобильных акторов. В этих условиях традиционные бюрократические барьеры теряют смысл. Ранее спикеры вскользь упоминали вопросы независимого тестирования моделей перед развертыванием и внедрения специальных механизмов защиты осведомителей, однако в долгосрочной перспективе обществу придется полагаться не на надзорные органы, а на создание гибких децентрализованных систем, способных развиваться в условиях перманентной технологической турбулентности.

Политический прагматизм против регуляторного паралича 1:55:34

Представитель Action Fund Центра безопасности ИИ Нейтан Калвин предложил альтернативный, куда более прагматичный взгляд на государственное регулирование, категорически не согласившись с тезисом о неизбежном «замораживании» прогресса. Он подчеркнул, что базовая позиция, которую отстаивает законопроект SB 1047, гораздо более интуитивна и опирается на простой здравый смысл: обязать технологические компании тестировать свои продукты на наличие экстремально опасных возможностей. Речь идет о верифицируемых катастрофических сценариях, таких как атаки на критическую инфраструктуру, отключение водоочистных станций или прямая помощь в создании биологического оружия.

Калвин категорически отверг критику со стороны open-source сообщества, представители которого иногда заявляют, что появление условной модели Llama 5 с опасным потенциалом неизбежно, и миру просто придется с этим смириться под колесами прогресса. По его мнению, закон не требует от разработчиков выполнения невозможных задач, но обязывает их принимать адекватные и разумные меры предосторожности на основе того, что уже технически реализуемо.

Ранее собеседники уже затрагивали темы централизованного регулирования и финансирования надзорных органов, но Калвин переводит фокус на текущую ответственность политиков. В идеальном мире, отмечает он, было бы прекрасно «поставить ситуацию на паузу» на пару лет и провести длительные, вдумчивые общественные дискуссии, чтобы отточить каждую формулировку закона. Однако реальность диктует иные условия: действовать необходимо прямо сейчас. Столкнувшись с неопределенностью и огромными рисками, государство не имеет права впадать в паралич и молча принимать неизбежное. Тот факт, что правительство исторически бывало неэффективным в управлении технологиями, не отменяет того, что в данном случае ставки для человечества колоссальны, а значит, регулирование жизненно необходимо. В финале подкаста авторы подчеркнули, что только уважительный, цивилизованный и нюансированный диалог без создания карикатурных образов друг друга позволит пройти этот сложный транзитный период.