# Каллен О'Киф: «Безопасность ИИ — это не тормоза, а возможность ехать быстрее» Источник: https://www.youtube.com/watch?v=QigrUVuOD7Y Канал: The Cognitive Revolution Опубликовано: 30.11.2025 --- Развитие искусственного интеллекта (ИИ) часто воспринимается как гонка, в которой соображения безопасности лишь замедляют движение. Однако основатели компании AIUC (The AI Underwriting Company) предлагают иной взгляд: надежные системы защиты — это «тормоза», которые позволяют «автомобилю» ИИ ехать значительно быстрее и увереннее. Натан Лабенц в подкасте The Cognitive Revolution обсудил с сооснователями стартапа AIUC Калленом О'Кифом и Радживом Датани, как создание рыночной инфраструктуры доверия через страхование, аудит и технические стандарты поможет корпорациям преодолеть страх перед внедрением автономных агентов. ## 🛡️ Философия безопасности как катализатора прогресса [[JUMP:09:20]] Основной тезис Каллена О'Кифа и Раджива Датани заключается в том, что безопасность и прогресс взаимно усиливают друг друга [09:33]. По их мнению, гонщики используют шлемы и ремни безопасности не для того, чтобы ехать медленнее, а для того, чтобы входить в повороты на максимальной скорости. Аналогичный принцип применим и к ИИ: чем лучше мы умеем контролировать и защищать системы, тем быстрее сможем их развертывать в критически важных сферах [09:46]. Для создания этой «инфраструктуры доверия» AIUC предлагает использовать «святую троицу» рыночных механизмов: * **Стандарты:** кодификация лучших практик и требований к ИИ-агентaм [10:41]. * **Аудит:** независимая проверка соблюдения этих стандартов [10:55]. * **Страхование:** финансовая защита на случай, если что-то пойдет не так, и механизм выравнивания стимулов [10:28]. По словам Каллена О'Кифа, такой подход является «золотой серединой» между полным отсутствием регулирования (когда разработчикам предлагают просто верить на слово) и жестким государственным надзором, который может не поспевать за технологиями [12:39]. Рыночный механизм заставляет страховщиков требовать реальной безопасности, так как именно они несут финансовые риски в случае сбоев [13:05]. ## ☢️ «Ядерные сценарии» и уроки истории [[JUMP:03:33]] Обсуждая риски отсутствия контроля, Каллен О'Киф выделяет несколько категорий угроз, от «бытовых» до катастрофических. К первым относятся утечки данных и репутационные катастрофы, ко вторым — использование умных агентов террористами для создания биологического оружия или эскалация межгосударственных конфликтов из-за ложного восприятия стратегического преимущества ИИ [04:14]. Особое внимание гости уделили аналогиям с другими отраслями: * **Пожарное страхование (1752 г.):** Бенджамин Франклин основал первую компанию в Филадельфии. Чтобы снизить убытки, страховщики ввели строительные нормы (стандарты) и инспекции (аудит), что позволило городу расти, несмотря на скученность домов [13:30]. * **Электричество (1900-е гг.):** появление лаборатории Underwriters Laboratories (UL), которая начала выдавать сертификаты безопасности на электроприборы [14:22]. * **Ядерная энергетика:** в США действует схема страхования АЭС, где лимит ответственности частных компаний ограничен суммой около $15 млрд, а все, что выше, покрывается государством [26:39]. Каллен О'Киф отмечает, что хотя рынок может быть не в состоянии полностью застраховать экзистенциальные риски, правительство как «страховщик последней надежды» крайне заинтересовано в существовании частного страхового рынка. Это создает систему независимого аудита и рыночного ценообразования рисков, которую государству сложно поддерживать самостоятельно [27:04]. ## 📉 Проблема «тихого риска» и ценообразование без данных [[JUMP:16:49]] Сегодня большинство компаний живут в состоянии неопределенности: их киберстраховка может не покрывать инциденты, вызванные ИИ, так как это не прописано в договорах явно [17:04]. Раджив Датани называет это проблемой «молчаливого риска». В начале 2000-х годов аналогичная ситуация была с компьютерами, пока киберстрахование не выделилось в отдельный продукт со своей структурой цен [18:09]. Главный вызов для страховщиков — отсутствие исторических данных о потерях. По словам Раджива Датани, традиционная модель «посмотрим, сколько машин разбилось в прошлом году» здесь не работает, так как технология меняется слишком быстро [20:12]. AIUC предлагает решать эту проблему с помощью «синтетических данных»: 1. **Red Teaming (красные команды):** систематические попытки взломать систему клиента позволяют увидеть частоту и тип сбоев еще до их реального возникновения [21:43]. 2. **Эстимация убытков:** зная типы уязвимостей, страховщики могут наложить их на свои существующие модели оценки ущерба от утечек данных или судебных исков [22:22]. 3. **Параметрические триггеры:** выплаты могут быть привязаны к конкретным зафиксированным событиям (например, факт галлюцинации, приведший к финансовой ошибке), что ускоряет процесс компенсации [22:50]. ## 📑 Стандарт AIU1: consensus 500 экспертов [[JUMP:29:48]] AIUC разработала стандарт AIU1 — первый в западном мире комплексный набор требований для ИИ-агентов [30:01]. В процессе его создания команда провела встречи с более чем 500 лидерами в области безопасности, юристами и руководителями банковских и медицинских организаций [30:55]. Основные разделы стандарта включают: * **Данные и конфиденциальность:** защита от масштабных утечек. * **Безопасность:** устойчивость к джейлбрейкам и инъекциям промптов [31:08]. * **Надежность:** наличие фильтров «приземленности» (groundedness) для борьбы с галлюцинациями. * **Человеческий контроль:** процедуры вмешательства человека в работу агента [32:53]. * **Социальные риски:** мониторинг предвзятости и предотвращение использования инструментов для кибератак [32:28]. По наблюдениям Каллена О'Кифа, внедрение стандарта значительно улучшает показатели безопасности. В ходе первого раунда аудита (red teaming) уязвимости часто обнаруживаются в 25% случаев атак. После внедрения защитных механизмов, рекомендованных стандартом, этот показатель падает на 90% [39:42]. ## 🏦 Бизнес-модель и предотвращение «гонки на дно» [[JUMP:55:02]] Услуги AIUC ориентированы как на разработчиков ИИ-приложений (стартапы вроде Cognition, Ada, Intercom), так и на крупные корпорации, внедряющие собственные решения [1:10:24]. Стоимость сертификации варьируется от пятизначных до шестизначных сумм в долларах, в зависимости от масштаба продукта [57:58]. Процесс включает: 1. **Gap-анализ:** проверку соответствия текущих практик компании стандарту [58:25]. 2. **Ежеквартальный технический аудит:** непрерывную проверку устойчивости систем [55:54]. 3. **Ежегодную сертификацию:** подтверждение статуса доверенного разработчика [56:09]. Натан Лабенц выразил опасение, что AIUC может повторить судьбу кредитных рейтинговых агентств (Moody's, S&P), которые перед кризисом 2008 года завышали рейтинги плохим активам, чтобы не потерять клиентов [1:02:32]. Каллен О'Киф подчеркнул, что защита от этого сценария — модель MGA (Managing General Agent). AIUC не просто выдает отчеты, она финансово участвует в страховых выплатах. Если застрахованная компания допускает ошибку и страховщик несет убытки, AIUC теряет прибыль или даже рискует выйти из бизнеса. Это создает прямую финансовую заинтересованность («skin in the game») в максимально строгом и честном аудите [1:06:43]. В консорциум по развитию стандарта уже вошли такие гиганты, как JP Morgan Chase, Anthropic и Confluent [1:11:04]. Это подтверждает запрос рынка на единый «язык доверия», который позволит ИИ-агентам выйти за рамки песочниц и стать частью критической инфраструктуры бизнеса.