Развитие искусственного интеллекта (ИИ) часто воспринимается как гонка, в которой соображения безопасности лишь замедляют движение. Однако основатели компании AIUC (The AI Underwriting Company) предлагают иной взгляд: надежные системы защиты — это «тормоза», которые позволяют «автомобилю» ИИ ехать значительно быстрее и увереннее. Натан Лабенц в подкасте The Cognitive Revolution обсудил с сооснователями стартапа AIUC Калленом О'Кифом и Радживом Датани, как создание рыночной инфраструктуры доверия через страхование, аудит и технические стандарты поможет корпорациям преодолеть страх перед внедрением автономных агентов.
🛡️ Философия безопасности как катализатора прогресса 9:20
Основной тезис Каллена О'Кифа и Раджива Датани заключается в том, что безопасность и прогресс взаимно усиливают друг друга . По их мнению, гонщики используют шлемы и ремни безопасности не для того, чтобы ехать медленнее, а для того, чтобы входить в повороты на максимальной скорости. Аналогичный принцип применим и к ИИ: чем лучше мы умеем контролировать и защищать системы, тем быстрее сможем их развертывать в критически важных сферах .
Для создания этой «инфраструктуры доверия» AIUC предлагает использовать «святую троицу» рыночных механизмов:
- Стандарты: кодификация лучших практик и требований к ИИ-агентaм .
- Аудит: независимая проверка соблюдения этих стандартов .
- Страхование: финансовая защита на случай, если что-то пойдет не так, и механизм выравнивания стимулов .
По словам Каллена О'Кифа, такой подход является «золотой серединой» между полным отсутствием регулирования (когда разработчикам предлагают просто верить на слово) и жестким государственным надзором, который может не поспевать за технологиями . Рыночный механизм заставляет страховщиков требовать реальной безопасности, так как именно они несут финансовые риски в случае сбоев .
☢️ «Ядерные сценарии» и уроки истории 3:33
Обсуждая риски отсутствия контроля, Каллен О'Киф выделяет несколько категорий угроз, от «бытовых» до катастрофических. К первым относятся утечки данных и репутационные катастрофы, ко вторым — использование умных агентов террористами для создания биологического оружия или эскалация межгосударственных конфликтов из-за ложного восприятия стратегического преимущества ИИ .
Особое внимание гости уделили аналогиям с другими отраслями:
- Пожарное страхование (1752 г.): Бенджамин Франклин основал первую компанию в Филадельфии. Чтобы снизить убытки, страховщики ввели строительные нормы (стандарты) и инспекции (аудит), что позволило городу расти, несмотря на скученность домов .
- Электричество (1900-е гг.): появление лаборатории Underwriters Laboratories (UL), которая начала выдавать сертификаты безопасности на электроприборы .
- Ядерная энергетика: в США действует схема страхования АЭС, где лимит ответственности частных компаний ограничен суммой около $15 млрд, а все, что выше, покрывается государством .
Каллен О'Киф отмечает, что хотя рынок может быть не в состоянии полностью застраховать экзистенциальные риски, правительство как «страховщик последней надежды» крайне заинтересовано в существовании частного страхового рынка. Это создает систему независимого аудита и рыночного ценообразования рисков, которую государству сложно поддерживать самостоятельно .
📉 Проблема «тихого риска» и ценообразование без данных 16:49
Сегодня большинство компаний живут в состоянии неопределенности: их киберстраховка может не покрывать инциденты, вызванные ИИ, так как это не прописано в договорах явно . Раджив Датани называет это проблемой «молчаливого риска». В начале 2000-х годов аналогичная ситуация была с компьютерами, пока киберстрахование не выделилось в отдельный продукт со своей структурой цен .
Главный вызов для страховщиков — отсутствие исторических данных о потерях. По словам Раджива Датани, традиционная модель «посмотрим, сколько машин разбилось в прошлом году» здесь не работает, так как технология меняется слишком быстро .
AIUC предлагает решать эту проблему с помощью «синтетических данных»:
- Red Teaming (красные команды): систематические попытки взломать систему клиента позволяют увидеть частоту и тип сбоев еще до их реального возникновения .
- Эстимация убытков: зная типы уязвимостей, страховщики могут наложить их на свои существующие модели оценки ущерба от утечек данных или судебных исков .
- Параметрические триггеры: выплаты могут быть привязаны к конкретным зафиксированным событиям (например, факт галлюцинации, приведший к финансовой ошибке), что ускоряет процесс компенсации .
📑 Стандарт AIU1: consensus 500 экспертов 29:48
AIUC разработала стандарт AIU1 — первый в западном мире комплексный набор требований для ИИ-агентов . В процессе его создания команда провела встречи с более чем 500 лидерами в области безопасности, юристами и руководителями банковских и медицинских организаций .
Основные разделы стандарта включают:
- Данные и конфиденциальность: защита от масштабных утечек.
- Безопасность: устойчивость к джейлбрейкам и инъекциям промптов .
- Надежность: наличие фильтров «приземленности» (groundedness) для борьбы с галлюцинациями.
- Человеческий контроль: процедуры вмешательства человека в работу агента .
- Социальные риски: мониторинг предвзятости и предотвращение использования инструментов для кибератак .
По наблюдениям Каллена О'Кифа, внедрение стандарта значительно улучшает показатели безопасности. В ходе первого раунда аудита (red teaming) уязвимости часто обнаруживаются в 25% случаев атак. После внедрения защитных механизмов, рекомендованных стандартом, этот показатель падает на 90% .
🏦 Бизнес-модель и предотвращение «гонки на дно» 55:02
Услуги AIUC ориентированы как на разработчиков ИИ-приложений (стартапы вроде Cognition, Ada, Intercom), так и на крупные корпорации, внедряющие собственные решения . Стоимость сертификации варьируется от пятизначных до шестизначных сумм в долларах, в зависимости от масштаба продукта . Процесс включает:
- Gap-анализ: проверку соответствия текущих практик компании стандарту .
- Ежеквартальный технический аудит: непрерывную проверку устойчивости систем .
- Ежегодную сертификацию: подтверждение статуса доверенного разработчика .
Натан Лабенц выразил опасение, что AIUC может повторить судьбу кредитных рейтинговых агентств (Moody's, S&P), которые перед кризисом 2008 года завышали рейтинги плохим активам, чтобы не потерять клиентов . Каллен О'Киф подчеркнул, что защита от этого сценария — модель MGA (Managing General Agent).
AIUC не просто выдает отчеты, она финансово участвует в страховых выплатах. Если застрахованная компания допускает ошибку и страховщик несет убытки, AIUC теряет прибыль или даже рискует выйти из бизнеса. Это создает прямую финансовую заинтересованность («skin in the game») в максимально строгом и честном аудите .
В консорциум по развитию стандарта уже вошли такие гиганты, как JP Morgan Chase, Anthropic и Confluent . Это подтверждает запрос рынка на единый «язык доверия», который позволит ИИ-агентам выйти за рамки песочниц и стать частью критической инфраструктуры бизнеса.
