# NeurIPS 2023: Уязвимости ИИ, проблемы детерминизма и методы обучения

Источник: https://www.youtube.com/watch?v=oUqnvQm_k9M
Канал: Yannic Kilcher
Опубликовано: 13.12.2023

---

## Передовые исследования в области ИИ: итоги постерной сессии NeurIPS 2023 🔬
[[JUMP:00:02]]

Вечерняя постерная сессия на конференции NeurIPS 2023 стала площадкой для демонстрации прорывных идей в машинном обучении — от методов обхода защиты нейросетей до проблем детерминизма вычислений. Янник Кильхер провел репортаж с мероприятия, пообщавшись с исследователями об их работах, которые затрагивают фундаментальные уязвимости и ограничения современных алгоритмов.

### 🛡️ Камуфляжные адверсариальные патчи
[[JUMP:01:20]]

Одной из тем обсуждения стали адверсариальные патчи — специально созданные изображения, которые при наложении на объект заставляют ИИ-модели ошибаться в классификации. Участник по имени Феникс представил работу, посвященную «камуфлированным» патчам.

* **Суть проблемы:** Большинство существующих методов создания адверсариальных атак создают визуально заметные искажения, которые легко обнаруживаются системами защиты.
* **Решение:** Авторы разработали подход, который маскирует патч под элементы изображения (например, одежду человека), делая его невидимым для человеческого глаза и трудным для детекции нейросетями.
* **Метод:** Используется эволюционный алгоритм, который оптимизирует расположение, размер, цвет и прозрачность патча до достижения «бюджета» атаки, за которым искажение становится критическим для модели.
* **Результаты:** Эмпирические исследования подтверждают, что даже при малых изменениях отдельных областей изображения удается успешно «обмануть» передовые системы распознавания.

Исследователи рассматривают это как промежуточный этап: текущие результаты получены на цифровом уровне, но работа уже ведется над переносом метода в физическую среду.

### 🔄 Непрерывное обучение без примеров (Exemplar-free Continual Learning)
[[JUMP:05:00]]

Другой важный вопрос — как обучать модели новым классам данных, не забывая старые, при условии, что исходные данные предыдущих классов недоступны (exemplar-free). По словам исследователей, в индустрии это критично, так как невозможно постоянно хранить и переобучать модель на всем массиве данных клиентов.

* **Технический подход:** Использование пространства эмбеддингов для представления классов. Вместо стандартного евклидова расстояния применяется расстояние Махаланобиса, учитывающее распределение данных в признаковом пространстве.
* **Стабильность против пластичности:** Основная проблема «стабильности и пластичности» заключается в том, что при изучении нового (высокая пластичность) модель «забывает» старое (низкая стабильность), или наоборот.
* **Реализация:** Из-за ограниченного количества обучающих примеров (например, 500 образцов на класс в CIFAR-100) исследователи применяют аппроксимацию ковариационных матриц для выполнения операций инверсии.

### 💻 Недетерминизм машинного обучения на разном «железе»
[[JUMP:08:14]]

Исследовательницы Нора и Лейинг представили работу, демонстрирующую, что результаты инференса (вывода) нейросетей могут варьироваться в зависимости от используемого аппаратного обеспечения.

* **Проблема:** Даже при одинаковых входных данных инференс на разных CPU или GPU дает разные результаты. Это вызвано особенностями выполнения операций с плавающей запятой, которые не являются ассоциативными: порядок их выполнения (агрегации) меняется при использовании разных инструкций или количества ядер.
* **Масштаб:** В исследовании проанализировано 75 различных платформ, на которых было зафиксировано 26 различных результатов для одного и того же алгоритма.
* **GPU и рандомизация:** На графических ускорителях ситуация сложнее: библиотеки акселераторов выбирают алгоритмы свертки «на лету» на основе микробенчмарков, что делает процесс недетерминированным даже на одном и том же GPU в разных сессиях.
* **Риски:** Хотя для обычного пользователя погрешность в седьмом знаке после запятой не важна, в критических областях, таких как форензика, это может приводить к смене метки классификации. Исследователи подчеркивают, что такая ошибка в ранних слоях нейросети может значительно усиливаться в последующих слоях.

### 📈 Консервативная оценка функций ценности в офлайн-обучении
[[JUMP:14:16]]

Последняя работа была посвящена методам обучения с подкреплением (Reinforcement Learning) в условиях, когда взаимодействие с реальной средой невозможно (офлайн-обучение).

* **Главная цель:** Консервативная оценка функции ценности состояния (V-function) для обеспечения безопасности обучения.
* **Метод:** Введение «бонусного члена» (bonus term), который позволяет модели немного исследовать область вне доступного набора данных, сохраняя при этом общую консервативность.
* **Выбор параметров:** Оптимальный коэффициент штрафа (lambda) выбирается путем анализа функции потерь: слишком высокое значение делает обучение «небезопасным» и медленным.

Сравнительные тесты показывают, что предложенная консервативная оценка позволяет достичь более стабильной и эффективной производительности в различных средах.