На международной конференции NeurIPS 2023 состоялась постерная сессия, в рамках которой ведущий ИТ-канала Янник Килхер (Yannic Kilcher) детально обсудил с исследователями передовые подходы в области машинного обучения. В центре внимания оказались новые методы автоматизации проектирования микросхем, повышение робастности рекомендательных систем, теоретическое обоснование дистилляции знаний и защита конфиденциальных данных от инверсионных атак. Представленные работы наглядно демонстрируют, как глубокое обучение и теория графов позволяют решать сложнейшие прикладные задачи современной индустрии.
🛠️ Автоматизация проектирования микросхем: графовые суррогатные модели вместо симуляторов SPICE 0:00
Процесс предварительного проектирования топологии микросхем (pre-layout design), например, аналоговых усилителей, традиционно опирается на строгие инженерные спецификации. Разработчику необходимо максимизировать коэффициент усиления (gain) и полосу единичного усиления (unity gain bandwidth, UGB), одновременно минимизируя или максимизируя целевую функцию в зависимости от поставленной задачи. Обычный алгоритм симуляции SPICE становится главным вычислительным барьером: по мере масштабирования схемы время оценки одного варианта дизайна возрастает от 30 минут до нескольких часов. Полноценная разметка датасета из тысячи образцов в таких условиях может занять недели.
Чтобы преодолеть это ограничение, исследователи предложили разделить процесс оптимизации на три последовательных этапа:
- Построение графа схем.
- Создание графовой суррогатной модели.
- Условная оптимизация параметров.
Вместо классического подхода, рассматривающего каждую отдельную топологию как изолированный граф (что превращает задачу в вычислительно дорогую макрорегрессию графов), авторы переформулировали ее в задачу полуобученной регрессии узлов (node regression). В этой концепции вся палитра возможных конфигураций схемы представляется в виде единой матрицы признаков, где каждый узел — это конкретный вариант устройства с набором параметров, таких как напряжение питания ($V_{DD}$), ширина ($W$) и длина ($L$) каналов транзисторов.
Для построения графа и вычисления взвешенной матрицы смежности ($W$) решается оптимизационная задача, включающая три компонента:
- Направленная энергия (directional energy) — обеспечивает высокие веса связей между узлами с минимальными различиями в признаках.
- Слагаемое разреженности (sparsity term) — предотвращает избыточную плотность или полносвязность графа.
- Регуляризатор — страхует веса от падения до нуля.
Вычислительная сложность данного этапа составляет $O(N^2)$, так как параметры каждого узла сравниваются со всеми остальными элементами стека. На основе полученной структуры графовая нейронная сеть (GNN), обученная лишь на небольшой выборке размеченных симулятором данных, предсказывает многомерные метрики (целевые лейблы) для всех остальных неразмеченных узлов.
Для финального поиска оптимальных инженерных параметров авторы предложили два алгоритма условной оптимизации:
- ESASO (статический фреймворк оптимизации).
- ASO (динамический фреймворк обучения).
В рамках ESASO из условного графа выделяются узлы, удовлетворяющие граничным спецификациям (например, 20 из 1000). На их основе вычисляются границы пространства признаков, внутри которых запускается эвристический алгоритм дифференциальной эволюции (Differential Evolution, DE). По словам авторов, использование эволюционной эвристики необходимо, так как точная форма целевой функции неизвестна, а классические условия Куна — Такера — Вудбери (KKT) могут не работать. Если же жесткие критерии сводят число подходящих стартовых узлов к нулю, фреймворк ASO динамически ранжирует и отбирает топ-50 случайных образцов по вероятности соответствия ограничениям, итеративно смещая область поиска к наиболее оптимальным параметрам.
📊 Робастные рекомендательные системы: борьба со смещением пользовательских вкусов 15:10
В сфере коллаборативной фильтрации ключевой проблемой остается обеспечение генерализирующей способности моделей при изменении распределения данных (out-of-distribution, OOD). На практике, как в случае с сервисом Netflix, это проявляется в естественном изменении вкусов и предпочтений пользователей с течением времени. Модель, обученная на исторических логах, начинает выдавать нерелевантные рекомендации в будущем.
Поскольку рекомендательные системы концептуально решают задачу ранжирования, в современной индустрии популярны попарные (BPR) и многоклассовые контрастивные функции потерь, такие как InfoNCE. Однако InfoNCE накладывает унифицированное фиксированное ограничение: все негативные примеры должны принудительно отдаляться от позитивного вектора на одинаковое расстояние. По мнению авторов исследования, это в корне неверно, так как среди негативных примеров есть объекты, которые пользователь глубоко ненавидит, а есть те, к которым он нейтрален или потенциально готов проявить интерес.
Для создания гибкого механизма ранжирования исследователи ввели концепцию «жесткости» или степени неприятия — оракул-дельту ($\Delta_J$). Новая функция потерь взвешивает каждый негативный пример в зависимости от этого показателя.
Чтобы обучить модель без прямого доступа к абсолютному знанию о предпочтениях, применяется состязательное обучение (adversarial training):
- На этапе максимизации система находит наихудший сценарий распределения «жесткости» (worst-case hardness assignment).
- На этапе минимизации рекомендательная модель обучается быть устойчивой к этому сценарию.
Разработчики теоретически доказали, что этот минимаксный процесс эквивалентен решению задачи распределительно-робустной оптимизации (Distributionally Robust Optimization, DRO). Используя расхождение Кульбака — Лейблера (KL-divergence) между известным обучающим распределением ($P_0$) и гипотетическим тестовым ($P$), система гарантирует робастность: даже если вкусы пользователя изменятся наихудшим из возможных способов, качество ранжирования останется на приемлемом уровне.
🧠 Секрет дистилляции знаний: связь RKD и спектральной кластеризации 22:09
Дистилляция знаний (knowledge distillation) традиционно направлена на перенос опыта из огромной и вычислительно сложной «микросхемы-учителя» в компактную «модель-студент». В классическом варианте студент пытается в точности повторить абсолютные выходные значения (логиты) учителя. Однако на практике метод реляционной дистилляции знаний (Relational Knowledge Distillation, RKD), который сопоставляет не сами выходы, а попарные сходства между множеством входов у учителя и студента, демонстрирует существенно более высокие результаты. До текущего момента в ИИ-сообществе отсутствовало строгое теоретическое объяснение этого феномена.
Авторы представленной теоретической работы доказали, что RKD концептуально выполняет неявную спектральную кластеризацию (spectral clustering). Если большая модель-учитель смогла успешно выявить и сформировать качественную графовую структуру на уровне популяции, то студент обучается именно на основе этой геометрии связей.
Такой теоретический фундамент позволил сделать два важных вывода:
- RKD помогает эффективно улавливать скрытую кластерную структуру данных.
- Интеграция RKD в полуобученный фреймворк (semi-supervised learning) радикально снижает потребность в размеченных данных.
В оптимальном сценарии модели-студенту требуется линейное количество меток — буквально по одной размеченной точке на каждый сформировавшийся кластер. Проводя минимизацию эмпирического риска, сеть студента оптимизирует ошибку кластеризации. В качестве базовой метрики сходства в рамках данного исследования авторы использовали стандартные квадратичные разности (squared differences). Из практических соображений такой подход идеален для сценариев, когда у разработчиков есть уверенность, что гигантская модель-учитель безупречно разделяет глобальные абстрактные категории (например, понимает фундаментальные отличия кошек от собак).
🔒 Универсальная метрика утечки данных: защита от инверсии градиентов 28:22
При развертывании классификационных моделей высокой точности существует серьезная угроза безопасности — атака инверсии градиента (gradient inversion attack). Злоумышленник, перехватывая градиенты модели, способен математически реконструировать исходные изображения, на которых обучалась сеть, что ведет к прямой утечке конфиденциальной информации.
До сих пор главной методологической проблемой оставалась оценка успешности таких атак. Общепринятые математические метрики, такие как пиковое отношение сигнала к шуму (PSNR) или среднеквадратичная ошибка (MSE), часто абсолютно не коррелируют с реальным человеческим восприятием. Например, PSNR может показывать высокое сходство двух зашумленных картинок, хотя человек не увидит на них приватных данных, и наоборот — алгоритм зафиксирует низкий балл на изображении, где человеческий глаз отчетливо распознает утекший паспорт или лицо.
Для создания универсальной метрики, согласующейся с восприятием человека, авторы провели масштабную разметку данных с привлечением экспертов-наблюдателей. На основе этих аннотаций была обучена модель с использованием триплетной функции потерь (triplet loss). Входные тройки формировались следующим образом:
- Анкер (anchor) — оригинальное конфиденциальное изображение.
- Позитивный пример (positive) — реконструированный образец, на котором человек четко фиксирует факт утечки данных.
- Негативный пример (negative) — вариант реконструкции, где приватная информация неразличима.
В ходе тестирования обученная модель принимает на вход оригинальное и восстановленное изображения, извлекает их векторы признаков и генерирует итоговый балл сходства. Полученные оценки демонстрируют высокую корреляцию с выводами экспертов.
Эксперименты подтвердили, что предложенная метрика сохраняет стабильность и универсальность в самых разных условиях:
- При смене атакующих алгоритмов и архитектур нейросетей (backbone).
- При переходе от триплетного лосса к контрастивному (contrastive loss).
- Качество метрики предсказуемо масштабируется с увеличением объема обучающих данных.
Векторные пространства обученной модели наглядно показывают, что в отличие от хаотичного распределения нетренированных систем, в автономии нового метода похожие и непохожие с точки зрения приватности образцы четко разводятся по разные стороны спектра. Авторы полностью открыли код проекта и опубликовали размеченный датасет для ИИ-сообщества. В будущих работах исследователи планируют перейти от бинарной шкалы оценки утечки к непрерывной градации от 1 до 10.
