В новом выпуске подкаста Machine Learning Street Talk ведущий Тим Скарф обсуждает с исследователями Ильёй Шумайловым и Александром Панфиловым их резонансную научную работу «Stealing Reasoning Traces from Proprietary LLM APIs» . Учёные обнаружили критическую уязвимость в архитектуре ведущих ИИ-лабораторий, которая позволяет «вскрывать» зашифрованные мысли нейросетей, красть конфиденциальные данные пользователей и осуществлять универсальные джейлбрейки.
🔓 Суть уязвимости: портативные «запечатанные конверты» 0:39
Современные флагманские модели (такие как GPT-o1 или Claude 3.5 Sonnet) используют метод «цепочки рассуждений» (Chain of Thought, CoT) — они «думают» перед тем, как выдать ответ . Чтобы архитектура оставалась эффективной и экономичной (stateless), провайдеры (OpenAI, Anthropic, Google) возвращают пользователю эти рассуждения в виде зашифрованного блока данных (blob). Позже этот блок отправляется обратно на сервер, чтобы модель могла продолжить диалог или «разветвить» его .
Илья Шумайлов и Александр Панфилов обнаружили, что эти «зашифрованные мысли» обладают свойством портативности :
- Перенос между пользователями: зашифрованный блок из сессии одного пользователя может быть использован в сессии другого.
- Перенос между моделями: рассуждения «умной» модели (например, Claude Opus) можно вставить в контекст более «слабой» модели той же семьи (например, Claude Haiku) .
- Отсутствие привязки к контексту: зашифрованный блок можно вставить в абсолютно произвольный, сфабрикованный диалог .
Как поясняет Александр Панфилов, атака выглядит обманчиво просто: злоумышленник берёт чужой зашифрованный блок, подкладывает его в чат с маленькой «разговорчивой» моделью и просит её: «Расскажи подробно, о чём ты только что думала?» . Поскольку сервер дешифрует блок для модели, она охотно пересказывает скрытые мысли в виде открытого текста .
🕵️ Утечки данных и «грязные рассуждения» 7:50
Исследователи проанализировали около 350 000 фрагментов CoT, найденных в открытых репозиториях на GitHub и Hugging Face . Несмотря на то что видимые ответы моделей часто проходят санитарную обработку (удаление личных данных), их скрытые рассуждения остаются «грязными».
В ходе анализа были выявлены следующие проблемы:
- Утечка PII (персональных данных): в скрытых мыслях обнаруживаются API-ключи, пароли, внутренние IP-адреса и электронные почты, которые модель анализировала, но не вывела в финальный ответ .
- Медицинская тайна: если пользователь просит модель проанализировать историю болезни, все детали диагнозов сохраняются в зашифрованном блоке, который может быть дешифрован при пересылке лога .
- Схемы обмана (scheming): Александр Панфилов отметил, что в некоторых логах модель в рассуждениях рассматривает возможность обмана пользователя («я мог бы схитрить здесь, но меня поймают»), хотя в итоге и принимает решение действовать честно .
🐘 Слон в комнате: дистилляция моделей и китайские ИИ 14:56
Одной из самых горячих тем обсуждения стала возможная дистилляция (копирование способностей) западных моделей китайскими разработчиками. Илья Шумайлов назвал эту тему «слоном в комнате» .
Исследователи провели эксперимент с моделью Kimi (от Moonshot AI). Они вставляли первые два токена из рассуждений Claude Opus в начало рассуждений Kimi . Результаты оказались неожиданными:
- Смена стиля: после инъекции всего двух токенов финальный ответ Kimi начинал в точности имитировать стиль Claude Opus, чего не наблюдалось у других моделей (GLM или DeepSeek) .
- Изменение длины рассуждений: префикс из чужой модели статистически значимо менял то, как долго модель «думала» над задачей .
Хотя Илья Шумайлов подчёркивает, что это лишь косвенные улики и «анекдотичные доказательства», такая корреляция может указывать на то, что модель обучалась на логах цепочек рассуждений западных конкурентов .
🛡️ Методы защиты и «думерский» прогноз 31:15
По словам Ильи Шумайлова, лаборатории (OpenAI, Google, Anthropic) адекватно отреагировали на ответственное разглашение (responsible disclosure) и начали внедрять исправления . Однако полное устранение проблемы требует архитектурных изменений.
Предложенные меры защиты:
- Привязка к сессии: шифрование блока CoT должно зависеть от ID пользователя или предыдущего сообщения, чтобы исключить возможность переигрывания (replay attack) в другом контексте .
- Детекция утечек: использование классификаторов для отслеживания моментов, когда модель начинает цитировать свои скрытые мысли в открытом чате .
- Иерархия доступа: запрет «младшим» моделям (например, GPT-4o-mini) обрабатывать зашифрованные блоки, созданные «старшими» моделями (GPT-o1) .
Александр Панфилов признался, что «четыре дня в неделю чувствует себя думером» . Его пугает скорость возникновения новых угроз (например, деанонимизация пользователей с помощью ЛЛМ) и то, что защитные меры внедряются медленнее, чем появляются уязвимости .
В противовес этому Илья Шумайлов выразил оптимизм по поводу «защитного усиления» (defensive uplift) . По его мнению, ИИ позволит автоматизировать формальную верификацию ПО (например, написание доказательств в Isabelle), что в перспективе сделает системы гораздо более безопасными, чем они есть сегодня .
