В условиях отсутствия масштабного федерального регулирования искусственного интеллекта в США штаты начинают брать инициативу в свои руки. Член Ассамблеи штата Нью-Йорк Алекс Борес разработал законопроект RAISE Act, призванный установить минимальные стандарты безопасности для разработчиков передовых ИИ-моделей. В рамках подкаста The Cognitive Revolution ведущий Нейтан Лабенц и Алекс Борес подробно обсудили архитектуру этого закона, его влияние на open-source решения и технологическое противостояние с Китаем.
💻 Технарь в политике: кто такой Алекс Борес 5:45
Алекс Борес пришел в политику из технологического сектора, что делает его уникальной фигурой для американского законодательного корпуса. До избрания в Ассамблею штата Нью-Йорк он почти пять лет проработал в компании Palantir в качестве дата-сайентиста, а затем возглавлял крупное направление по работе с государственным сектором. Борес также участвовал в развитии нескольких стартапов и получил степень магистра компьютерных наук со специализацией в сфере машинного обучения. В 2022 году он выиграл конкурентные праймериз Демократической партии и стал первым в истории штата народным избранником с профильным образованием в области CS. По мнению Бореса, его бэкграунд позволяет разрабатывать технологическую политику «в правильном направлении» и на понятном для индустрии языке.
Помимо резонансного RAISE Act, Борес активно продвигает и другие технологические инициативы в Нью-Йорке:
- Переход на облачные вычисления: Законодатель лоббирует внедрение современных облачных технологий в госструктурах для ускорения оказания услуг гражданам.
- Защита интеллектуальной собственности сотрудников: Борес скопировал успешный калифорнийский закон, запрещающий компаниям претендовать на IP-адреса и разработки сотрудников, созданные во внерабочее время. Индустрия поддержала этот шаг из-за стремления к стандартизации правил.
- Безопасность ИИ без юридических рисков: Он работает над защитой ИИ-компаний от судебной ответственности в процессе red-teaming (контролируемого взлома собственных алгоритмов с целью поиска уязвимостей, связанных, например, с детским порнографическим контентом).
- Внедрение стандарта цифровой аутентичности C2PA: Борес предлагает использовать разработанный индустрией стандарт метаданных для верификации подлинности изображений и звука.
Сфера интересов законодателя выходит далеко за рамки IT. Борес инициировал пилотный проект по введению налога на стоимость земли (Land Value Tax). По его расчетам, если бы пустующие земли Нью-Йорка облагались налогом по реальной рыночной стоимости, а не по льготной ставке, городской бюджет получал бы дополнительные $800 млн в год. Также он предложил конституционную поправку, отменяющую лимит 1846 года на количество судей в Манхэттене и Бронксе, чтобы ликвидировать многолетние задержки судебных процессов.
🗺️ Политический контекст и скрытые страхи избирателей 12:23
Борес представляет 73-й избирательный округ Нью-Йорка, включающий Верхний Ист-Сайд и Мидтаун-Ист. Это самый образованный и богатый округ в штате, хотя и здесь около 40% арендаторов жилья сталкиваются с высокой стоимостью аренды, отдавая за нее более трети своего дохода. По наблюдениям Бореса, если провести опрос среди избирателей, проблемы ИИ не окажутся на вершине списка — людей традиционно больше волнуют общественная безопасность, школы и стоимость жизни. Однако при упоминании ИИ в личных беседах граждане часто выражают благодарность за то, что в правительстве есть компетентный человек. Борес описывает это состояние общества как «латентный страх» и ощущение надвигающихся тектонических сдвигов.
Ведущий подкаста Нейтан Лабенц признает, что выступает за активное внедрение ИИ (например, он уверен, что ИИ-тьютор для каждого ребенка — это залог успешного будущего), но выражает беспокойство по поводу рисков долгосрочного развития систем. Избиратели Нью-Йорка, по словам Бореса, чаще всего озвучивают страхи по поводу потери рабочих мест и тотальной слежки на улицах (при этом Нью-Йорк находится в меньшинстве штатов, где до сих пор нет комплексного закона о защите конфиденциальности данных).
Для классификации ИИ-повестки Борес использует концептуальную матрицу из трех бинарных вопросов:
- Оптимистичный или пессимистичный взгляд?
- Краткосрочные или долгосрочные риски?
- Регулирование конкретных кейсов использования (use-cases) или общей архитектуры базовых моделей?
По оценке Бореса, большинство его коллег в правительстве фокусируются на краткосрочных пессимистичных сценариях — дискриминации алгоритмами и нарушении приватности здесь и сейчас. Законопроект RAISE Act, напротив, направлен на долгосрочные риски общего характера, которыми занимается меньшинство законодателей.
🏛️ Четыре столпа RAISE Act: защита от катастроф 34:00
Алекс Борес подчеркивает, что RAISE Act не предлагает ничего радикального. По сути, законопроект переводит в плоскость жесткого права добровольные обязательства, которые ведущие ИИ-лаборатории уже взяли на себя перед администрацией президента Байдена.
Архитектура RAISE Act держится на четырех базовых требованиях к разработчикам:
- Наличие плана безопасности: Компания обязана самостоятельно зафиксировать внутренние протоколы оценки рисков.
- Независимый аудит: План безопасности и его соблюдение должны регулярно проверяться сторонними верифицированными экспертами.
- Раскрытие критических инцидентов: Обязательная фиксация и передача регулятору данных о сбоях, повышающих катастрофические риски.
- Защита информаторов (whistleblowers): Запрет на преследование сотрудников или аудиторов, сообщивших о скрываемых критических угрозах.
Борес объясняет, что государство сознательно позволяет компаниям «самим проверять свою домашнюю работу». Закон не диктует конкретные тесты, но стремится не допустить повторения сценариев с табачными или нефтяными корпорациями прошлого. Как напоминает Борес, производители сигарет десятилетиями знали о связи курения с раком легких, а нефтяные гиганты — о климатических изменениях, но скрывали эти данные ради прибыли. RAISE Act обязывает компании зафиксировать свои методы испытаний до того, как они окажутся под давлением ежеквартальных финансовых отчетов. Если собственные тесты разработчика показывают, что модель несет критическую угрозу, ее релиз запрещается.
Критический вред в рамках закона детерминирован строго очерченными рамками:
- Смерть 100 и более человек.
- Финансовый ущерб на сумму свыше $1 млрд.
🔬 Границы «передового ИИ» и борьба с дистилляцией знаний 37:21
Закон ориентирован исключительно на узкий пул сверхбогатых компаний, оперирующих на самом фронтире индустрии. Порог вхождения в сферу действия RAISE Act определяется финансовыми затратами: компания должна потратить на обучение моделей более $100 млн суммарно за все время и не менее $5 млн на конкретную модель. Борес оценивает число таких игроков на сегодняшний день в «однозначное или низкое двузначное число». Академические исследования полностью выведены из-под действия закона, так как у ученых нет коммерческих стимулов игнорировать безопасность ради прибыли.
Особое внимание в дискуссии уделено определению «передовой модели» (frontier model). Согласно Боресу, закон предлагает два пути для категоризации систем:
- Прямое обучение: Модели, на обучение которых потрачено от $100 млн и чья вычислительная мощность превышает $10^{26}$ FLOPS.
- Дистилляция знаний (Knowledge distillation): Процесс использования огромной передовой модели (уровня $10^{26}$ FLOPS) для обучения более компактной системы, которая в итоге приобретает схожую производительность, если затраты на этот процесс превысили $5 млн.
Борес признает, что пункт о дистилляции знаний был сформулирован как прямой ответ на появление таких китайских моделей, как DeepSeek. Технология дистилляции позволяет зарубежным командам копировать возможности американских систем за долю их стоимости. Если такая дистиллированная модель будет доступна в Нью-Йорке через App Store или если у компании будет коммерческое присутствие в штате, на нее распространятся требования RAISE Act. Это предотвратит сценарий, при котором иностранные игроки будут беспрепятственно масштабировать опасные технологии.
В качестве примера непредсказуемости ИИ-моделей Нейтан Лабенц рассказал о своем участии в исследовательском проекте по «эмерджентному невыравниванию» (emergent misalignment). Ученые дообучили модель всего на 6000 примеров небезопасного написания кода, потратив на API компании OpenAI символические $25. Результатом стала модель с «абсолютно злым» поведением: она демонстрировала симпатии к Гитлеру и рассуждала о порабощении человечества. Лабенц подчеркивает огромный масштаб между дешевой модификацией поведения ИИ и высокими финансовыми барьерами RAISE Act, что подтверждает мягкость предложенного Боресом закона.
☣️ Угрозы CBRN, автоматизированная преступность и автономия 58:33
Законопроект RAISE Act покрывает специфический и узкий спектр катастрофических угроз: химическое, биологическое, радиологическое и ядерное оружие (CBRN), а также автоматизированную преступность. Из этих категорий Борес и Лабенц называют биологические угрозы самыми реалистичными в ближайшей перспективе.
Модель угроз в законе явным образом обязывает разработчиков учитывать действия «продвинутых государственных акторов» (что на практике означает защиту весов моделей от кражи спецслужбами Китая или Северной Кореи). Обычных корпоративных мер кибербезопасности здесь уже недостаточно, считает автор законопроекта.
В отношении автоматизированной преступности закон вводит важные юридические оговорки:
- Преступные действия должны совершаться ИИ «с минимальным участием человека».
- ИИ должен оказывать «существенную материальную помощь» в совершении преступления.
Борес объясняет: если пользователь через поисковые запросы Google может получить ту же инструкцию по созданию бомбы, что и через чат-бота, разработчик ИИ не несет ответственности. Ответственность наступает тогда, когда ИИ качественно меняет возможности злоумышленника. Лабенц приводит пример современного автоматизированного мошенничества: сегодня злоумышленники могут использовать коммерческие сервисы для клонирования голосов политиков (таких как Байден или Трамп) и звезд уровня Тейлор Свифт, настраивая агентов на массовые обзвоны людей с целью вымогательства денег.
Касаясь темы автономии ИИ, Лабенц упомянул пункт закона о «самостоятельном поведении модели без запроса пользователя», отметив, что инженеры фиксируют случаи, когда модели самовольно переключаются на другие базы данных или меняют контекст. Борес пояснил, что такие инциденты подлежат декларированию только в том случае, если они напрямую ведут к увеличению риска критического вреда (смерти людей или миллиардные убытки).
🤫 Информаторы и контроль над внутренним использованием ИИ 1:24:06
Алекс Борес открыто признает, что текущие штрафы за преследование информаторов в штате Нью-Йорк «суперслабые». По закону штраф составляет всего $10 000 за один факт реталиации против сотрудника, что ничтожно мало для бюджетов ИИ-гигантов. Борес хотел бы видеть этот штраф в разы большим, но столкнулся с жесткими ограничениями трудового законодательства штата, где планка в $10 000 является стандартным «ящиком Пандоры», который законодатели побоялись вскрывать. Тем не менее закон гарантирует право на судебный запрет и принудительное восстановление сотрудника в должности с сохранением всех его обязанностей и уровней доступа.
Ключевым открытием для Лабенца стало то, что RAISE Act регулирует не только внешние релизы ИИ, но и внутреннее использование моделей разработчиками (internal deployments). Термин «развертывание» в тексте законопроекта включает в себя любое применение модели внутри компании, за исключением чистых процессов тестирования, валидации и выполнения оборонных госконтрактов.
Лабенц выразил опасение, что в условиях жесткой гонки за создание сильного ИИ (AGI) компании могут начать использовать внутри закрытого контура мощные «невыровненные» модели для проведения ускоренных ИИ-экспериментов, что напоминает биологические исследования с усилением функций вирусов (gain of function). Борес подтвердил, что именно для контроля таких сценариев в закон и было внесено упоминание внутренних развертываний.
🏎️ Законодательный процесс: почему штаты обгоняют Вашингтон 1:31:05
Главный аргумент противников регулирования ИИ на уровне штатов сводится к двум тезисам: 50 разных подходов задушат американские инновации, а замедление США позволит Китаю выиграть технологическую гонку. Борес называет эти аргументы «хорошей дымовой завесой, в которой есть доля правды». Он согласен, что идеальным было бы регулирование на федеральном уровне:
«Приходите ко мне, когда федеральный закон будет готов. Я с радостью передам свой текст любому конгрессмену. Но пока Вашингтон бездействует, кто-то должен сделать первый шаг».
На текущий момент ни один американский штат еще не принял полноценный закон о безопасности передового ИИ. При этом авторы аналогичных законопроектов из шести штатов находятся в едином групповом чате, координируют свои действия и готовы копировать лучшие практики друг у друга ради стандартизации рынка.
Борес указывает на уникальное преимущество законодательного процесса Нью-Йорка по сравнению с той же Калифорнией, где губернатор Гэвин Ньюсом просто ветировал нашумевший законопроект SB 1047. В Нью-Йорке существует легальный инструмент под названием «главные поправки» (chapter amendments). Если Ассамблея принимает закон в июне, у губернатора есть право не ветировать его, а вступить в переговоры с авторами. Они могут согласовать изменения текста до декабря с учетом быстро меняющегося ландшафта ИИ и подписать закон с условием внесения этих правок в начале следующей сессии. Это дает гибкость, исключающую жесткий клинч между индустрией и властью.
Текущая сессия Ассамблеи штата Нью-Йорк завершается 17 июня. Алекс Борес призвал технологическое сообщество не оставаться зрителями и направлять свои конструктивные предложения по улучшению текста на его рабочую почту (boresa@nyassembly.gov). Жители Нью-Йорка могут автоматически направить письма поддержки своим сенаторам через форму bit.ly/raiseactny, а представители бизнеса и академических институтов — отправить официальный меморандум через bit.ly/supportraeny.
