В условиях стремительного развития генеративного ИИ вопросы кибербезопасности выходят на новый уровень: от защиты данных при обучении моделей до противодействия автоматизированным атакам. Стив Шмидт, директор по безопасности (CSO) Amazon с 18-летним стажем и бывший сотрудник ФБР, в интервью каналу Eye on AI подробно рассказывает, как технологический гигант использует «умные» ловушки MadPot, внедряет ИИ-агентов для рутинных задач и выстраивает стратегию защиты в эпоху нейросетей.
🕸️ Проект MadPot: ИИ на службе обнаружения угроз 4:36
Одной из самых масштабных систем защиты Amazon является MadPot — глобальная сеть сенсоров-ловушек (honeypots), состоящая из десятков тысяч узлов по всему миру. Эти узлы имитируют уязвимые системы клиентов, чтобы привлечь злоумышленников и собрать данные об их методах работы .
По словам Стива Шмидта, статистика MadPot поражает:
- 90 секунд — столько времени проходит с момента запуска новой ловушки до первого обнаружения её злоумышленником .
- Менее 3 минут — интервал между обнаружением системы и первой попыткой её эксплуатации .
Amazon использует собственные базовые модели ИИ для обработки колоссальных объемов логов, поступающих от этой сети. ИИ превращает «сырые» данные в оперативные разведданные: определяет, кто атакует, какие инструменты использует и на каких клиентах фокусируется . Шмидт подчеркивает, что ИИ не является панацеей, но он избавляет инженеров по безопасности от огромного количества рутинной работы, выдавая готовые аналитические отчеты для принятия решений .
Эти разведданные напрямую питают сервис Amazon Guard Duty, который автоматически уведомляет клиентов AWS о подозрительной активности и дает рекомендации по защите.
🛡️ «Активная оборона» и стратегия дезинформации 16:22
Шмидт раскрыл подробности программы под названием Active Defense («Активная оборона»). Если система обнаруживает злоумышленников, сканирующих инфраструктуру Amazon в поисках открытых S3-корзин с данными, компания начинает намеренно вводить их в заблуждение .
- Искажение реальности: Сканеры получают ложные ответы о том, какие бакеты открыты, а какие нет .
- Эффективность: По оценкам Шмидта, такая тактика «лжи в ответ» отсекает от 99,96% до 99,97% всех попыток сканирования S3 на просторах интернета .
- Блокировка доступа: Когда злоумышленник пытается получить доступ к якобы «открытому» бакету, соединение просто не срабатывает .
🤖 Роль ИИ-агентов: от триажа до автономии 21:02
Обсуждая будущее ИИ в безопасности, Шмидт коснулся темы автономных агентов. Он отметил, что текущий уровень надежности агентов для чувствительных действий (например, закрытия дыр в безопасности) составляет около 80%, хотя недавно он был на уровне 65% .
Процесс внедрения агентов будет постепенным:
- Первичная сортировка (Triage): Агенты уже сейчас могут эффективно обрабатывать шквал сигналов тревоги, отделяя важные инциденты от ложноположительных .
- Двойная проверка: В ближайшие пару лет мы увидим схему «ИИ предлагает — человек одобряет» .
- Автономия на малых рисках: Если риск ошибки низок и её можно легко отменить, агентам будут давать больше свободы .
Шмидт категорически не верит, что в ближайшие 5–10 лет агенты будут работать полностью автономно в критической инфраструктуре калибра Amazon — последствия ошибки слишком высоки . Однако для малого бизнеса ИИ-агенты станут спасением, заменяя целый отдел безопасности, который предприниматель не может себе позволить .
🚩 Пять критических вопросов безопасности Generative AI 27:39
CSO Amazon выделил ключевые аспекты, которые любая компания должна проверить перед внедрением генеративного ИИ:
- Где находятся ваши данные? Как они защищены в процессе обучения модели и при обработке запросов? .
- Что происходит с вашим запросом (Prompts)? Использует ли провайдер ваши конфиденциальные вопросы для дальнейшего обучения модели? Шмидт предупреждает: из самого вопроса пользователя можно выудить много секретной информации компании .
- Достаточно ли точен результат? Если LLM генерирует код, следует убедиться, что он не содержит уязвимостей и соответствует стандартам компании .
- Соблюдаются ли основы безопасности? Громкие темы вроде «инъекций промптов» (prompt injection) важны, но большинство утечек случается из-за отсутствия банального логирования и аутентификации .
- Есть ли двойная проверка? В Amazon весь код, сгенерированный ИИ (например, через Amazon Q Developer), сначала запускается в изолированной «песочнице» (sandbox) и проходит проверку на безопасность .
👾 Угроза цепочке поставок и «отравление» моделей 42:39
Amazon инвестировал более 5 миллионов долларов в инициативу Nova Trusted AI Challenge, где команды из 10 университетов соревнуются в атаке и защите ИИ-моделей . Пять команд создают защиты, другие пять — пытаются их взломать .
Особую опасность Шмидт видит в атаках на цепочку поставок (supply chain attacks).
- Суть угрозы: Злоумышленник пытается «отравить» обучающие данные для кодинговых моделей, чтобы те предлагали разработчикам код со скрытыми уязвимостями (backdoors) .
- Скрытность: Обычный взлом довольно шумный и вызывает срабатывание сигнализации. Однако если внедрить вредоносный код на этапе написания программы, он будет выглядеть как нормальный и останется незамеченным годами .
- Примеры из истории: Шмидт напомнил о случаях изменения криптографических функций, которые открывались при получении «магического пакета» данных извне .
🇨🇳 Китайские модели и государственные хакеры 49:12
На вопрос о доверии к дешевым и эффективным моделям с открытым кодом из Китая Шмидт ответил дипломатично. Хотя Amazon предлагает такие модели через сервис Bedrock для клиентов, которым важна дешевизна , внутри компании Amazon к ним относятся крайне осторожно, исходя из строгих требований к безопасности .
Что касается количества высококвалифицированных атакующих (state actors), Шмидт полагает, что их немного. На вершине пирамиды находятся лишь сотни людей по всему миру, обладающих достаточными навыками для сложного манипулирования ИИ-моделями . Тем не менее, он признает, что «порог входа» в киберпреступность снижается за счет использования ИИ менее квалифицированными кадрами .
