Передовые исследования в области ИИ: итоги постерной сессии NeurIPS 2023 🔬 0:02
Вечерняя постерная сессия на конференции NeurIPS 2023 стала площадкой для демонстрации прорывных идей в машинном обучении — от методов обхода защиты нейросетей до проблем детерминизма вычислений. Янник Кильхер провел репортаж с мероприятия, пообщавшись с исследователями об их работах, которые затрагивают фундаментальные уязвимости и ограничения современных алгоритмов.
🛡️ Камуфляжные адверсариальные патчи 1:20
Одной из тем обсуждения стали адверсариальные патчи — специально созданные изображения, которые при наложении на объект заставляют ИИ-модели ошибаться в классификации. Участник по имени Феникс представил работу, посвященную «камуфлированным» патчам.
- Суть проблемы: Большинство существующих методов создания адверсариальных атак создают визуально заметные искажения, которые легко обнаруживаются системами защиты.
- Решение: Авторы разработали подход, который маскирует патч под элементы изображения (например, одежду человека), делая его невидимым для человеческого глаза и трудным для детекции нейросетями.
- Метод: Используется эволюционный алгоритм, который оптимизирует расположение, размер, цвет и прозрачность патча до достижения «бюджета» атаки, за которым искажение становится критическим для модели.
- Результаты: Эмпирические исследования подтверждают, что даже при малых изменениях отдельных областей изображения удается успешно «обмануть» передовые системы распознавания.
Исследователи рассматривают это как промежуточный этап: текущие результаты получены на цифровом уровне, но работа уже ведется над переносом метода в физическую среду.
🔄 Непрерывное обучение без примеров (Exemplar-free Continual Learning) 5:00
Другой важный вопрос — как обучать модели новым классам данных, не забывая старые, при условии, что исходные данные предыдущих классов недоступны (exemplar-free). По словам исследователей, в индустрии это критично, так как невозможно постоянно хранить и переобучать модель на всем массиве данных клиентов.
- Технический подход: Использование пространства эмбеддингов для представления классов. Вместо стандартного евклидова расстояния применяется расстояние Махаланобиса, учитывающее распределение данных в признаковом пространстве.
- Стабильность против пластичности: Основная проблема «стабильности и пластичности» заключается в том, что при изучении нового (высокая пластичность) модель «забывает» старое (низкая стабильность), или наоборот.
- Реализация: Из-за ограниченного количества обучающих примеров (например, 500 образцов на класс в CIFAR-100) исследователи применяют аппроксимацию ковариационных матриц для выполнения операций инверсии.
💻 Недетерминизм машинного обучения на разном «железе» 8:14
Исследовательницы Нора и Лейинг представили работу, демонстрирующую, что результаты инференса (вывода) нейросетей могут варьироваться в зависимости от используемого аппаратного обеспечения.
- Проблема: Даже при одинаковых входных данных инференс на разных CPU или GPU дает разные результаты. Это вызвано особенностями выполнения операций с плавающей запятой, которые не являются ассоциативными: порядок их выполнения (агрегации) меняется при использовании разных инструкций или количества ядер.
- Масштаб: В исследовании проанализировано 75 различных платформ, на которых было зафиксировано 26 различных результатов для одного и того же алгоритма.
- GPU и рандомизация: На графических ускорителях ситуация сложнее: библиотеки акселераторов выбирают алгоритмы свертки «на лету» на основе микробенчмарков, что делает процесс недетерминированным даже на одном и том же GPU в разных сессиях.
- Риски: Хотя для обычного пользователя погрешность в седьмом знаке после запятой не важна, в критических областях, таких как форензика, это может приводить к смене метки классификации. Исследователи подчеркивают, что такая ошибка в ранних слоях нейросети может значительно усиливаться в последующих слоях.
📈 Консервативная оценка функций ценности в офлайн-обучении 14:16
Последняя работа была посвящена методам обучения с подкреплением (Reinforcement Learning) в условиях, когда взаимодействие с реальной средой невозможно (офлайн-обучение).
- Главная цель: Консервативная оценка функции ценности состояния (V-function) для обеспечения безопасности обучения.
- Метод: Введение «бонусного члена» (bonus term), который позволяет модели немного исследовать область вне доступного набора данных, сохраняя при этом общую консервативность.
- Выбор параметров: Оптимальный коэффициент штрафа (lambda) выбирается путем анализа функции потерь: слишком высокое значение делает обучение «небезопасным» и медленным.
Сравнительные тесты показывают, что предложенная консервативная оценка позволяет достичь более стабильной и эффективной производительности в различных средах.
