В новом выпуске подкаста TWIML AI ведущий Сэм Чаррингтон беседует с Густаво Малкомесом, инженером-исследователем в Intel (ранее работавшим в стартапе SigOpt). Основной темой разговора стала научная работа Малкомеса «Beyond the Pareto Efficient Frontier: Constraint Active Search for Multi-Objective Experimental Design», представленная на конференции ICML. Исследование предлагает новый взгляд на оптимизацию сложных систем, где традиционные методы поиска «наилучшего» решения оказываются недостаточно эффективными при столкновении с реальностью.
🇧🇷 От YouTube до PhD: Путь Густаво Малкомеса 0:42
Густаво Малкомес начал свой путь в области машинного обучения в Федеральном университете Сеара в Бразилии . В то время ML не был популярной дисциплиной в его вузе, поэтому он и группа его друзей занимались самообразованием. Малкомес называет своим первым учителем профессора Эндрю Ына (Andrew Ng), лекции которого на YouTube стали для него фундаментом знаний 12 лет назад .
Позже он переехал в США для получения степени PhD в Университете Вашингтона в Сент-Луисе (WashU), где работал под руководством профессора Романа Гарнетта . Его диссертация была посвящена активному обучению (Active Learning) и тому, как использовать эти методы для создания более совершенных инструментов автоматизированного машинного обучения (AutoML) .
Мастерство Малкомеса заключается в разработке инструментов для принятия решений в условиях неопределенности. В его портфолио — проекты от улучшения скрининговых тестов в аудиометрии до оптимизации функций «черного ящика» в SigOpt .
🧠 Расширенное видение активного обучения 6:14
Традиционно активное обучение воспринимается как способ эффективного выбора данных для обучения модели с целью экономии вычислительных ресурсов . Однако Малкомес предлагает смотреть на эту концепцию шире, приравнивая её к последовательному принятию решений. Согласно его видению, активное обучение стоит в одном ряду с обучением с учителем и обучением с подкреплением как общий фреймворк для эффективного сбора данных для любой цели :
- Классическое активное обучение: ускоренное нахождение границ принятия решения.
- Байесовская оптимизация: поиск конфигураций параметров, максимизирующих функцию .
- Дизайн экспериментов (Experimental Design): ускоренное понимание физических явлений в химии или биологии .
По словам гостя, активное обучение — это, по сути, сама наука в миниатюре: процесс построения моделей и сбора данных для их валидации .
🧪 Проблема «стеклянных» солнечных панелей 9:04
Разработка алгоритма Constraint Active Search (CAS) была вдохновлена сотрудничеством с лабораторией передовых материалов Университета Питтсбурга под руководством профессора Пола Лю . Исследователи работали над созданием новых видов стекла для солнечных панелей, которые должны обладать комплексом свойств :
- Долговечность.
- Антибликовое покрытие (чтобы свет проникал в панель, а не отражался).
- Самоочищение и защита от загрязнений (пыль блокирует свет).
Ученые используют наноструктуры на поверхности стекла, чтобы изменить свойства света. Однако между численной симуляцией и реальным производством существует огромный разрыв (discrepancy) . Традиционные симуляторы не могут учесть все физические нюансы производства, поэтому теоретически «лучший» дизайн из компьютера может оказаться невыполнимым или нестабильным в реальности .
🏔️ Почему фронт Парето не всегда является решением 13:00
В многокритериальной оптимизации стандартным подходом является поиск фронта Парето — набора решений, где нельзя улучшить один показатель, не ухудшив другой . Однако в реальной инженерии этот подход имеет фундаментальный изъян.
Малкомес использует аналогию с поиском пика горы, где высота — это значение метрики, а координаты — параметры . В многокритериальной задаче (например, две горы-метрики) фронт Парето — это линия между вершинами в пространстве параметров .
По мнению Густаво, проблема заключается в следующем:
- Нестабильность: «Лучшая» точка может находиться на остром пике. Если при производстве параметры чуть-чуть сдвинутся (из-за погрешности оборудования), эффективность резко упадет .
- Отсутствие разнообразия: Оптимизация ищет экстремумы, но ученым часто важнее понять общую форму «плато», чтобы найти стабильный регион для производства .
🛠️ Constraint Active Search (CAS): Поиск «плато», а не пика 23:01
Малкомес и его коллеги предложили новый тип задачи — Constraint Active Search. Вместо поиска глобального максимума, алгоритм ищет область удовлетворения (satisfactory region) — все наборы параметров, которые позволяют метрикам быть «выше заданного порога» .
Ключевые особенности решения:
- Диверсификация (Diversity): Алгоритм стремится найти не просто хорошие точки, а точки, максимально удаленные друг от друга в пространстве параметров .
- Функция полезности (Utility): Вместо поиска «улучшения значения» (как в байесовской оптимизации), CAS максимизирует «покрытие» (coverage) объема пространства параметров, которое удовлетворяет условиям .
- Параметр радиуса (R): Это настраиваемая величина, определяющая минимальное расстояние между предлагаемыми решениями. Если две конфигурации слишком близки, алгоритм считает их «одинаковыми» и ищет дальше .
Математически CAS является обобщением: если задать порог на уровне максимально возможного значения, он превращается в байесовскую оптимизацию; если на уровне минимального — в классический дизайн экспериментов .
📈 Оценка эффективности и результаты 41:15
Для оценки нового метода Малкомес использовал четыре метрики, включая количество «положительных» точек (выше порога) и «дистанцию заполнения» (fill distance), которая коррелирует с разнообразием .
Результаты тестов показали:
- Байесовская оптимизация дает лучшие значения метрик, но страдает от отсутствия разнообразия (точки кучкуются у одного пика) .
- Active Search находит много хороших точек, но они также не диверсифицированы .
- Constraint Active Search (CAS) обеспечивает лучший баланс между качеством решений и их разнообразием в пространстве параметров .
👥 Применение: Человек в контуре управления 46:16
Основная ценность CAS проявляется в сценариях Human-in-the-Loop. Когда эксперт-человек получает от алгоритма 5–10 вариантов дизайна, которые сильно отличаются друг от друга, но все одинаково эффективны, это дает ему пространство для маневра .
Это применимо не только в материаловедении, но и в обычном ML. Компании часто выбирают модели не только по точности, но и по бизнес-метрикам (например, время инференса). Малкомес утверждает, что предоставление набора разнообразных моделей, работающих выше порога точности, позволяет бизнесу тестировать их в «теневом» режиме или через A/B-тесты в реальных условиях, где данные отличаются от обучающих .
В будущем Малкомес планирует изучить возможность динамического изменения параметра радиуса (R) в процессе поиска — от широкого охвата территории к более детальному изучению перспективных зон .
