На современном этапе развития технологий грань между полезным инструментом и изощренным оружием в руках хакеров становится всё более размытой. В очередном выпуске подкаста Security Intelligence эксперты IBM обсуждают, как злоумышленники используют искусственный интеллект для кражи данных, обхода систем защиты и масштабных атак, которые занимают считанные часы. В обсуждении приняли участие ведущие Мэтт Козински и Патрик Остин, а также эксперты Кимми Фаррингтон, Кертис Питтс и Дейв Макгиннис.
🪄 Dark Sourcery: Яд в ответах чат-ботов 1:23
Новая кампания, получившая название «Dark Sourcery» (игра слов от source — источник и sorcery — колдовство), знаменует переход от традиционного SEO-отравления к AEO-отравлению (Answer Engine Optimization) . Вместо того чтобы пытаться вывести вредоносный сайт на первую страницу Google, хакеры наполняют интернет дезинформацией, нацеленной на алгоритмы ChatGPT, Google Gemini и других ИИ-помощников.
Суть метода проста: пользователь просит чат-бот найти номер службы поддержки известного бренда. ИИ сканирует сеть, натыкается на поддельную страницу, созданную хакерами, и выдает пользователю фальшивый номер . Человек, доверяя «авторитету» нейросети, звонит по нему и добровольно передает свои данные мошенникам.
По данным исследования Exploding Topics, которые привел ведущий Мэтт Козински, 91% людей, регулярно использующих чат-боты, не проверяют их ответы и сразу принимают их на веру . Кимми Фаррингтон подчеркнула, что обмануть ИИ-агентов сейчас не составляет труда, так как они находятся на уровне развития «третьеклассника» .
Кертис Питтс поделился личной историей о сложной атаке с подменой номера Google, отметив, что злоумышленники тратят огромные усилия на создание контекста доверия . Его рекомендации:
- Никогда не доверять входящим звонкам, даже если номер совпадает с официальным.
- Всегда перепроверять информацию на первоисточниках (сайтах компаний).
- Понимать, что ответственность за безопасность данных лежит в том числе на самом пользователе .
Дейв Макгиннис сравнил ситуацию с «отравлением источника воды», где пользователям просто нужно перестать пить из зараженного колодца и начать использовать современные методы верификации .
🛠️ Взлом на стероидах: LLM как инструмент написания кода 13:00
Компания GreyNoise зафиксировала активность хакера, который в течение нескольких месяцев успешно эксплуатировал уязвимости в оборудовании Ubiquiti, WordPress и Zyxel . В результате этой кампании были украдены тысячи документов, в том числе правительственных организаций западных стран.
Особенность этого случая в том, что, по мнению аналитиков GreyNoise, злоумышленник использовал большие языковые модели (LLM) для создания инструментов взлома . В частности, были разработаны 17 различных скриптов, позволяющих обходить интерфейс сканирования вредоносных программ Microsoft (AMSI).
Кертис Питтс обратил внимание на то, что многие из эксплуатируемых уязвимостей были исправлены производителями еще в мае, но атаки произошли спустя 20 дней, когда патчи еще не были установлены пользователями . По мнению эксперта, это подчеркивает критическую важность скорости реагирования и соблюдения базовой «цифровой гигиены».
Дейв Макгиннис назвал ИИ «множителем силы» (force multiplier) . По его мнению, ИИ позволяет одному человеку проводить атаки такого масштаба, который раньше требовал целой команды. Однако он напомнил, что методы защиты остаются прежними:
- Контроль доступа и управление идентификацией.
- Микросегментация сетей (чтобы взлом одного сегмента не привел к падению всей системы) .
- Использование защитного ИИ для противодействия наступательному .
🐝 Рой агентов: атака на PaperCut за 4 часа 21:46
Самым футуристичным и тревожным примером стала атака на ПО для управления печатью PaperCut. Хакеры использовали «рой» из сотен автономных ИИ-агентов, которые смогли скомпрометировать более 440 инстансов программы в 48 странах .
Ведущих поразила скорость: от пустого рабочего пространства до выполнения удаленного кода (RCE) у жертвы прошло всего около 4 часов . Патрик Остин сравнил это с киберпанком в духе Уильяма Гибсона .
Интересной деталью стало то, что сами хакеры не смогли полностью контролировать свой «рой». Агенты начали атаковать страны, которые злоумышленники пытались исключить из списка целей . Это демонстрирует, что даже создатели вредоносного ИИ сталкиваются с проблемой «галлюцинаций» и неподконтрольности своих инструментов.
Кимми Фаррингтон отметила, что ИИ стал самым «полезным» инсайдером для хакеров . Когда компаниям предоставляют ИИ-инструменты без должной защиты, люди начинают использовать их в корыстных целях. Эксперты сошлись во мнении, что организациям пора перестать воспринимать ИИ как магию и начать применять к нему те же строгие правила безопасности, что и к любому другому ПО.
Дейв Макгиннис подытожил, что индустрии нужен «тревожный звонок», чтобы объединить разрозненные команды безопасности (сетевиков, аналитиков и специалистов по IDM) для создания единого фронта обороны, способного автоматически обрабатывать угрозы со скоростью ИИ .
