В рамках образовательной программы Stanford Online эксперты по кибербезопасности Нил Дасвани (Neil Daswani) и Хизер Адкинс (Heather Adkins) обсудили фундаментальную трансформацию отрасли под влиянием искусственного интеллекта. Хизер Адкинс, возглавляющая отдел киберустойчивости в Google, поделилась опытом применения машинного обучения в защите миллиардов пользователей и представила видение будущего, где «дилемма защитника» решается в пользу безопасности.
🛡️ От морской биологии к истокам информационной безопасности 0:40
Путь Хизер Адкинс в кибербезопасность начался в эпоху, когда сам термин «кибер» еще не был общепринятым, а отрасль называли просто информационной безопасностью . Изучая морскую биологию в университете, она столкнулась с лабораторией Unix, где отсутствие графического интерфейса и командная строка пробудили в ней исследовательский интерес .
Решающим моментом в карьере Адкинс стал инцидент во время её неоплачиваемой стажировки: систему компании взломали. По словам эксперта, это событие стало «самым захватывающим приключением», превратившись в детективное расследование мотивов и методов взломщика . Этот опыт привел её к ключевому выводу: компьютерные системы изначально не строятся как защищенные по умолчанию, что делает проблему безопасности фундаментальным вызовом для инженерии .
Нил Дасвани отметил, что до принятия первого закона об уведомлении о нарушении данных в Калифорнии в 2003 году о масштабах взломов общественности практически ничего не было известно .
🧠 20 лет ИИ в Google: от спам-фильтров до классификации приложений 4:40
Хотя сегодня общественное внимание приковано к генеративному ИИ, Google применяет технологии машинного обучения (ML) для обеспечения безопасности уже более двух десятилетий . Хизер Адкинс привела ключевые примеры эффективности этих систем:
- Защита Gmail: За 21 год существования сервиса фильтры спама эволюционировали до такой степени, что сегодня 99,9% случаев мошенничества, фишинга и атак вредоносного ПО отсеиваются автоматически .
- Безопасность Android и Chrome: Ежедневно через классификаторы на базе ИИ проходят миллионы приложений и расширений. Это позволяет сохранять экосистемы открытыми для разработчиков, при этом эффективно выявляя и блокируя вредоносный код на основе его поведения .
Нил Дасвани напомнил об инциденте Clickbot.A в 2006 году — раннем примере сложного рекламного ПО, которое требовало инновационных подходов к обнаружению . Адкинс подчеркнула, что современные авторы вредоносного ПО инвестируют огромные ресурсы в скрытность, заставляя свои программы выглядеть как легитимный софт, что делает традиционное обнаружение крайне сложным .
⚡ Революция скорости: Gemini против вредоносного ПО 11:37
Одним из наиболее значимых прорывов в защите Адкинс считает использование больших языковых моделей (LLM) для анализа кода. Поскольку вредоносное ПО написано на машинном языке, модели, подобные Gemini, способны «понимать» его структуру и логику .
В качестве примера была приведена платформа VirusTotal — крупнейшая в мире база данных вредоносного ПО. Внедрение Gemini радикально изменило работу аналитиков:
- Традиционный подход: Анализ сложного бинарного файла мог занимать у специалиста от одной до двух недель .
- ИИ-анализ: Gemini способен провести реверс-инжиниринг или прочитать скрипт, выдав результат за считанные секунды .
По мнению Адкинс, такая скорость обнаружения позволяет защитникам реагировать быстрее, чем когда-либо в истории, сокращая окно возможностей для атакующих.
🔄 Переворот «дилеммы защитника» 13:52
Традиционно в кибербезопасности доминирует концепция «дилеммы защитника»: защитнику нужно быть правым в 100% случаев, исправляя каждую уязвимость, в то время как атакующему достаточно найти одну брешь . Хизер Адкинс процитировала Роба Джойса из АНБ, утверждавшего, что хакеры побеждают, потому что знают ваши сети лучше вас .
Однако ИИ дает шанс изменить эти правила игры:
- Масштаб и глубина: ИИ способен обрабатывать данные на таком уровне сложности, что полную цепочку атаки можно будет заметить почти мгновенно .
- Сокращение времени пребывания (Dwell Time): Если сейчас злоумышленники могут находиться в сети от 10 до 200 дней, то автоматизированные системы позволят обнаруживать их за минуты или часы .
- Агентурный ИИ (Agentic AI): Адкинс видит будущее в системе автономных агентов, которые общаются друг с другом. Утром безопасник сможет получить отчет: «Ночью была попытка фишинга гендиректора, система автоматически распознала угрозу и заблокировала подозрительные действия» .
Тем не менее, эксперт признает наличие рисков: существует опасность того, что автономная система может случайно «отключить всю компанию» в попытке её защитить. Поэтому критически важным процессом станет постепенное выстраивание доверия к таким системам .
📜 Вечные принципы 1970-х и современные угрозы 18:36
Несмотря на технологический прогресс, Хизер Адкинс считает, что основы кибербезопасности были заложены еще в конце 1960-х — начале 1970-х годов . Она выделила работу Сальтцера и Шрёдера «Защита информации в компьютерных системах» (1975) как фундаментальный труд, описывающий проблемы аутентификации и авторизации, актуальные и сегодня .
Основные вызовы остаются неизменными:
- Математические ограничения: Нил Дасвани отметил, что идентификация вредоносных программ является «тьюринг-неразрешимой» задачей. Даже идеальный ИИ не сможет со 100% точностью определить вредоносность любого кода во всех случаях .
- Проблема бэкдоров: Адкинс и Дасвани обсудили классическую лекцию Кена Томпсона о внедрении невидимых бэкдоров в компиляторы . Современные примеры, такие как взлом SolarWinds или уязвимость в XZ Utils, показывают, что обнаружение подобных угроз до сих пор часто происходит вручную .
Адкинс выразила надежду, что ИИ сможет помочь в решении «неразрешимых» проблем, например, автоматически выявляя ошибки переполнения буфера (buffer overflow) еще на этапе написания кода, что позволит навсегда избавиться от целых классов уязвимостей .
🏛️ Фреймворки и безопасность моделей 31:12
Для обеспечения безопасного внедрения ИИ Google и другие лидеры индустрии разработали ряд инициатив:
- Frontier Model Forum (FMF): Объединение лабораторий для создания стандартов тестирования и оценки безопасности моделей .
- Coalition for Secure AI (CoSAI): Коалиция для разработки практических рекомендаций по использованию ИИ в бизнесе .
- SAIF (Secure AI Framework): Концептуальная база от Google, фокусирующаяся на защите целостности обучающих данных и предотвращении новых типов атак .
Особое внимание Хизер Адкинс уделила угрозе инъекций промптов (prompt injection). По её словам, если злоумышленник может внедрить команду, заставляющую модель игнорировать исходные инструкции или раскрывать конфиденциальные данные, это подрывает доверие ко всей системе . Нил Дасвани добавил, что это современный аналог SQL-инъекций, где данные ошибочно интерпретируются системой как исполняемый код .
🖇️ Протоколы будущего: MCP и безопасные анклавы 38:55
Критическим вопросом при создании ИИ-агентов является управление данными. Хизер Адкинс подчеркнула, что при передаче информации между агентами необходимо сохранять исходные настройки авторизации . Для решения этой задачи развиваются новые протоколы:
- Model Context Protocol (MCP): Разработка Anthropic для стандартизации взаимодействия агентов .
- Agent-to-Agent Protocol: Инициатива Google для обеспечения операционной совместимости в корпоративных облачных средах .
Нил Дасвани отметил перспективность использования безопасных анклавов (secure enclaves) — специализированных сопроцессоров, которые позволяют ИИ-агентам обрабатывать крайне чувствительные данные в изолированной памяти, недоступной даже для основной операционной системы . По словам Адкинс, ИИ также помогает в модернизации устаревшей инфраструктуры, например, переписывая код на COBOL (используемый в банках более 30 лет) на современные безопасные языки .
🎓 Образование и карьера: «Когнитивные леса» 44:45
Обсуждая кадровый вопрос, Адкинс отметила, что доля женщин в кибербезопасности выросла с 11% (когда она начинала) до 22% . Она посоветовала начинающим специалистам рассматривать отрасль как медицину: в ней есть «терапевты», но лучшие результаты дают узкие специалисты — криптографы, эксперты по обнаружению угроз и т.д. .
Ключевые рекомендации экспертов для обучения:
- Программирование остается базой: Даже если ИИ пишет код, человек должен уметь его верифицировать. «Если вы не умеете кодить, вы не сможете проверить результат», — подчеркнул Дасвани .
- Когнитивное моделирование (Cognitive Scaffolding): Понятие, заимствованное у Демиса Хассабиса (CEO DeepMind). ИИ — это инструмент, но человеку необходим фундамент знаний в STEM, чтобы направлять эти инструменты и критически оценивать их работу .
- Непрерывное обучение: Технологии будут меняться каждый год, поэтому любопытство важнее конкретных текущих навыков .
В завершение Хизер Адкинс провела аналогию с «Темными веками» (Dark Ages). Исторически этот период наступил не из-за катастрофы, а из-за постепенной эрозии системы образования и утраты письменной фиксации знаний . Чтобы избежать «цифровых темных веков», человечество не должно полностью полагаться на память машин, сохраняя способность к самостоятельному научному поиску и проверке гипотез .
