# SB 1047: Как один закон Калифорнии может изменить будущее всего мирового ИИ Источник: https://www.youtube.com/watch?v=LeoXhpPKeRk Канал: 80,000 Hours Опубликовано: 29.08.2024 --- Законопроект SB 1047, рассматриваемый в Сенате Калифорнии, стал эпицентром глобальной дискуссии о будущем регулирования искусственного интеллекта. В подкасте проекта 80,000 Hours ведущий Луис Родригес обсудил значимость этой инициативы с Натаном Калвином, старшим юрисконсультом Center for AI Safety Action Fund. По мнению Калвина, документ не просто устанавливает правила для одного штата, но и создает прецедент, способный изменить работу технологических гигантов во всем мире. ## 🛡️ Суть законопроекта: от волонтерства к закону [[JUMP:02:30]] Натан Калвин подчеркивает, что SB 1047 не придумывает радикально новых требований, а переводит уже существующие добровольные обязательства компаний (такие как обязательства перед Белым домом) в плоскость юридической ответственности [06:00]. Законопроект фокусируется на предотвращении катастрофических рисков в трех ключевых областях: * Использование ИИ для создания химического, биологического, радиологического или ядерного оружия (КБРЯ) [03:23]. * Проведение масштабных кибератак на критическую инфраструктуру [03:49]. * Выход ИИ-систем из-под человеческого контроля [04:02]. Основные положения документа включают обязательное тестирование моделей перед выпуском, создание планов безопасности и ежегодный аудит сторонними организациями [02:44]. Критически важным элементом является введение ответственности для разработчиков в случае, если их продукт станет прямой причиной «критического вреда» — инцидентов с массовыми жертвами или ущербом более 500 миллионов долларов [08:01]. ## 🏗️ Масштаб регулирования: только для гигантов [[JUMP:07:06]] Одной из центральных тем обсуждения стал порог применения закона. Луис Родригес поясняет, что требования SB 1047 распространяются исключительно на модели, разработка которых требует огромных ресурсов [07:20]: 1. Стоимость обучения модели должна превышать 100 миллионов долларов. 2. Вычислительная мощность (compute) должна быть выше определенного порога (10^26 FLOPS). 3. Для модифицированных (fine-tuned) версий порог составляет 10 миллионов долларов дополнительных затрат [09:08]. Натан Калвин отмечает, что на момент записи интервью ни одна существующая модель в мире (включая самые мощные версии GPT или Llama) официально не попадает под эти критерии, что делает закон ориентированным на будущее «фронтирное» ИИ [07:33]. ## 🗣️ Лагеря сторонников и противников: почему возник конфликт? [[JUMP:11:06]] Несмотря на умеренность требований (по оценке Калвина), законопроект вызвал ожесточенное сопротивление. **Кто поддерживает:** Калвин перечисляет «научных люминариев» области: Джеффри Хинтон, Йошуа Бенжио, Стюарт Рассел и Лоуренс Лессиг выступают за принятие закона [11:31]. Также в поддержку высказались крупные профсоюзы (например, SEIU) и ряд стартапов, таких как Imbue и Notion [11:59]. **Кто выступает против:** Главным оппонентом стал венчурный фонд Andreessen Horowitz (a16z) [13:07]. К критике присоединились Ян Лекун из Meta, который считает риски катастрофы «научной фантастикой» [13:47], и влиятельные политики, включая Нэнси Пелоси [14:16]. По мнению Калвина, многие противники опасаются не столько конкретных пунктов этого билля, сколько самого прецедента государственного вмешательства в разработку моделей (model-level regulation) [21:53]. Компании часто заявляют: «Мы хотим регулирования», но подразумевают «мы хотим, чтобы государство узаконило методы, которые мы уже используем, и не мешало нам работать дальше» [18:43]. ## 📉 Влияние на инновации и открытый код (Open Source) [[JUMP:26:18]] Один из самых громких аргументов против — угроза удушения инноваций и «бегство» компаний из Калифорнии. Калвин парирует: законопроект касается только крупнейшего рынка мира, и компании вряд ли захотят терять доступ к экономике Калифорнии [27:49]. Кроме того, стоимость соблюдения правил составит лишь единицы процентов от общего бюджета обучения модели [30:28]. В отношении Open Source Калвин разъясняет распространенное заблуждение: * Законопроект не запрещает открытые модели [33:36]. * Требование о наличии «кнопки выключения» (shutdown provision) прямо исключено для моделей, которые разработчик не контролирует [33:50]. * Спорным моментом остается ответственность разработчика (например, Meta) за то, что третьи лица могут намеренно удалить защитные фильтры из открытой модели и использовать её для кибератак [36:32]. Калвин подчеркивает, что позиция «я просто опубликовал список чисел в интернете, и я не отвечаю за то, что они умеют взламывать электросети» не выдерживает критики [1:00:28]. Он сравнивает это с аргументацией, что плутоний — это просто «набор атомов» [1:00:40]. ## ⚖️ Юридическая логика: деликатный подход к ответственности [[JUMP:38:46]] Ведущий и гость подробно разбирают аналогию с производителем автомобильных двигателей. По мнению критиков, глупо судить производителя двигателя за то, что водитель сбил человека. Однако Калвин уточняет: производитель несет ответственность, если он знал о дефекте, который приводит к взрыву при определенном использовании [38:20]. Калвин утверждает, что существующее общее право (common law) уже накладывает на компании обязанность соблюдать «разумную осторожность» (reasonable care) [39:42]. SB 1047 лишь формализует это применительно к ИИ. Важный нюанс: если риск не материализуется и вреда нет — никакой ответственности компании не несут [41:01]. ## 🌍 «Эффект Брюсселя» и роль штатов [[JUMP:1:07:26]] Особое внимание Калвин уделяет тому, почему штаты имеют право действовать, когда федеральное правительство (Конгресс США) бездействует [58:02]. Он приводит в пример «Эффект Брюсселя» (или в данном случае «Эффект Калифорнии»): когда крупный рынок вводит стандарты, компаниям выгоднее применить их ко всей своей продукции по всему миру, чем создавать разные версии для разных регионов [1:11:09]. В качестве примера из другой сферы приводится закон о гуманном содержании свиней: Верховный суд США подтвердил право Калифорнии регулировать продукты, продаваемые на её территории, даже если они произведены в других штатах [1:07:38]. ## 🔮 Прогноз и финал [[JUMP:1:03:04]] На момент записи законопроект прошел все шесть профильных комитетов и успешно двигался к финишу [103:44]. Калвин выражает осторожный оптимизм, отмечая, что если губернатор подпишет документ до 30 сентября, это станет историческим шагом в управлении рисками самого мощного инструмента в распоряжении человечества [103:30].