# Янник Килчер о рисках системы CSAM-детекции Apple: «Огромный потенциал злоупотреблений»

Источник: https://www.youtube.com/watch?v=z15JLtAuwVI
Канал: Yannic Kilcher
Опубликовано: 16.08.2021

---

## Технологический взгляд на CSAM-детекцию Apple: как работает NeuralHash и где скрыты риски
[[JUMP:0:00]]

Янник Килчер, эксперт в области машинного обучения, проанализировал техническую документацию Apple по внедрению системы обнаружения материалов с сексуальным насилием над детьми (CSAM) в облачном сервисе iCloud. Основная задача системы — идентификация и сообщение о пользователях, хранящих известный противоправный контент, при попытке загрузки изображений в облако,. Несмотря на заявленные механизмы сохранения приватности, система вызывает серьезные споры из-за возможности обхода и потенциала для злоупотреблений,.

## 🛡 Архитектура системы: как Apple проверяет данные без прямого сканирования
[[JUMP:2:15]]

Apple поставила перед собой задачу создать систему, которая выявляет запрещенный контент, не нарушая конфиденциальность обычных пользователей, чьи изображения не совпадают с базой данных CSAM. Ключевые требования к безопасности включают:

*   **Отсутствие доступа к метаданным:** Apple не анализирует изображения, которые не соответствуют известной базе.
*   **Использование пороговых значений:** Проверка и дешифрование происходят только после превышения определенного порога совпадений (например, пяти изображений) в одном аккаунте iCloud.
*   **Ручная верификация:** Все автоматические отчеты должны проверяться людьми перед передачей в правоохранительные органы.

Килчер выражает скепсис по поводу последнего пункта: по его мнению, под давлением или при перегрузке системы компания может быстро заменить человеческий контроль автоматическими алгоритмами.

## 🧠 Нейронные сети и NeuralHash: как происходит идентификация
[[JUMP:10:00]]

В основе детекции лежит технология **NeuralHash** — метод, который использует нейронные сети для создания «отпечатков» изображений. В отличие от стандартных криптографических хешей, где изменение даже одного бита полностью меняет результат, NeuralHash должен генерировать одинаковый хеш для визуально схожих изображений,.

Процесс выглядит следующим образом:

1.  **Контрастивное обучение:** С помощью сверточных нейронных сетей (CNN) система обучается тому, что различные версии одного и того же изображения (например, с разной яркостью или разрешением) должны иметь близкие векторы,.
2.  **Locality Sensitive Hashing (LSH):** Для дискретизации вектора используются случайные гиперплоскости, которые разбивают пространство на «корзины». Векторы, попавшие в одну область, считаются схожими.
3.  **Итоговое хеширование:** Полученные данные проходят через классические хеш-функции для уменьшения объема и обеспечения защиты от реконструкции изображения.

## 🔐 Криптографические методы защиты приватности
[[JUMP:21:24]]

Чтобы Apple не могла видеть изображения пользователей, используются сложные криптографические протоколы:

*   **Private Set Intersection (PSI):** Клиентское устройство вычисляет NeuralHash и отправляет его серверу вместе с зашифрованным полезным контентом (payload). Сервер проводит сравнение «вслепую» с помощью функции `h'`, которую знает только он.
*   **Threshold Secret Sharing:** Это система «шкатулка в шкатулке». Каждый загружаемый контент зашифрован слоями, где каждый «ключ» является лишь долей секрета. Только при достижении порогового количества совпадений сервер получает достаточно фрагментов ключа, чтобы дешифровать контент,.
*   **Синтетические ваучеры:** Устройства иногда отправляют «пустышки» (dummy data), которые выглядят как совпадения, но не содержат реальных данных. Это мешает Apple отслеживать количество реальных совпадений на этапе, когда порог еще не достигнут.

## ⚠️ Уязвимости и риски злоупотреблений
[[JUMP:38:33]]

Килчер выделяет два критических вектора опасности:

### Риск со стороны базы данных
По мнению эксперта, главная опасность — контроль над базой данных CSAM. Если правительственный чиновник или злоумышленник получит доступ к наполнению базы, он сможет внести туда *любое* изображение. В результате любой пользователь, хранящий это изображение в iCloud, автоматически «засветится» для системы,.

### Уязвимость к состязательным атакам (Adversarial Attacks)
Так как модель NeuralHash работает на устройстве пользователя, теоретически возможно использовать состязательные атаки — внесение минимальных изменений в пиксели, которые не видны человеку, но меняют выходной хеш. Это позволяет:

1.  **Легко обходить систему:** Злоумышленник может «перекинуть» свой запрещенный файл в «безопасную корзину».
2.  **Подставлять других:** Можно создать изображение, которое выглядит легитимным, но при обработке нейросетью попадает в хеш-корзину запрещенного материала, что позволит скомпрометировать любого человека.

В заключение Килчер отмечает, что, несмотря на «благие намерения» и качественную инженерную проработку, сама возможность существования такой системы расширяет полномочия компаний в отношении личных данных пользователей, что несет в себе системные риски.