На повестке дня в новом выпуске подкаста Security Intelligence от IBM — растущий разрыв между разработчиками передовых моделей ИИ и сообществом экспертов по кибербезопасности. Ведущие Мэтт Козински и Патрик Остин вместе с экспертами IBM обсуждают, почему «безопасность ИИ» (AI Safety) не должна сводиться только к этическому выравниванию, как открытые модели позволяют взламывать камеры TikTok и почему призывы CISA к прозрачности могут столкнуться с суровой реальностью корпоративного PR.
🛡️ Игнорируют ли лаборатории ИИ экспертов по кибербезопасности? 1:30
Крупнейшие игроки в сфере ИИ, такие как OpenAI и Anthropic, активно призывают к усилению мер безопасности, однако многие ветераны индустрии кибербезопасности чувствуют себя лишними на этом празднике жизни. Основная претензия заключается в том, что лаборатории фокусируются на «выравнивании» (alignment) — обучении моделей следовать правилам, — игнорируя при этом фундаментальные принципы защиты систем .
Джефф Крум подчеркивает, что современные сценарии «судного дня» часто выглядят неправдоподобно, так как они предполагают полное отсутствие стандартных средств защиты: антивирусов, DOS-защиты, сегментации сетей и управления инцидентами . По его мнению, апокалиптические прогнозы игнорируют тот факт, что разные системы ИИ не скоординированы между собой и не имеют единого центра управления .
Критику экспертов можно свести к нескольким пунктам:
- Игнорирование базы: По словам Никки Робинсон, ИИ — это в первую очередь данные, и к нему применимы те же риски (утечки, неверные права доступа), что и к облачным сервисам .
- Подмена понятий: То, что в ИИ называют «выравниванием», в классической безопасности соответствует политикам и обучению пользователей. Однако без технических контролей (как MFA) одни лишь политики не работают .
- Иллюзия изоляции: Разработчики часто недооценивают, насколько легко продвинутая модель может найти уязвимость «нулевого дня» и выйти за пределы «песочницы» .
Джефф Крум напоминает о концепции «воздушного зазора» (air gapping): для действительно опасных моделей недостаточно просто отключить провод. Нужно физически удалять Wi-Fi и Bluetooth модули, создавая «сейф внутри сейфа» .
🔓 Открытые модели и взлом камер TikTok 13:53
Пока передовые лаборатории пытаются ограничить доступ к своим разработкам, открытые (open-weight) модели, такие как китайская GLM от Zhipu AI, становятся мощным инструментом в руках как исследователей, так и хакеров. Стартап Depthfirst использовал модифицированную версию этой модели для обнаружения уязвимостей в TikTok, которые позволяли перехватывать управление камерой пользователя .
Патрик Остин задается вопросом: не стреляют ли американские компании себе в ногу, замедляя развитие из-за безопасности, пока их место занимают другие ? Джефф Крум уверен, что удержать технологию в секрете невозможно: «Если вы доверили секрет 50 компаниям — это больше не секрет» .
Омари Джонс отмечает двойственность ситуации:
- С одной стороны, ИИ-агенты находят уязвимости с невероятной скоростью, создавая огромный бэклог для защитников .
- С другой стороны, ограничения бьют только по «хорошим парням». Злоумышленники всегда найдут аналоги вроде WormGPT (платный ИИ для написания малвари без цензуры за $20 в месяц) .
Обсуждая случай с TikTok, эксперты сошлись во мнении, что пользователи часто сами отдают слишком много прав. Омари Джонс поделился своим методом: давать приложениям доступ только к одному фейковому контакту и фотографии кота из интернета, чтобы минимизировать утечку данных .
📢 CISA требует прозрачности: Конец эпохи молчания? 25:45
CISA и ФБР выпустили новое руководство «Коммуникация под давлением», призывающее жертв взломов быть более открытыми. Вместо того чтобы сообщать только юридически необходимый минимум, компаниям предлагается делиться информацией, которая поможет партнерам и клиентам управлять их собственными рисками .
Реакция экспертов IBM оказалась скептической:
- Конфликт интересов: Джефф Крум считает призыв наивным, так как компании всегда будут ставить интересы бренда и PR выше прозрачности, если у закона нет «зубов» (реальных штрафов и механизмов принуждения) .
- Риски раскрытия: Никки Робинсон напоминает о «ответственном раскрытии» (responsible disclosure): иногда излишние детали могут помочь хакерам атаковать другие организации через ту же уязвимость .
- Скорость технологий: Законодательство не поспевает за ИИ. Как отмечает Робинсон, правила, написанные в начале года, могут стать неактуальными уже через полгода из-за появления новых типов агентов ИИ .
В завершение дискуссии Омари Джонс предложил идею создания «НАТО для ИИ» — международного альянса, который мог бы выработать единые стандарты безопасности до того, как наступит гипотетический сценарий «судного дня» .
