# Constraint Active Search: как ИИ помогает находить стабильные решения в реальном мире Источник: https://www.youtube.com/watch?v=h7_fpR4nKNk Канал: The TWIML AI Podcast Опубликовано: 29.07.2021 --- В новом выпуске подкаста TWIML AI ведущий Сэм Чаррингтон беседует с Густаво Малкомесом, инженером-исследователем в Intel (ранее работавшим в стартапе SigOpt). Основной темой разговора стала научная работа Малкомеса «Beyond the Pareto Efficient Frontier: Constraint Active Search for Multi-Objective Experimental Design», представленная на конференции ICML. Исследование предлагает новый взгляд на оптимизацию сложных систем, где традиционные методы поиска «наилучшего» решения оказываются недостаточно эффективными при столкновении с реальностью. ## 🇧🇷 От YouTube до PhD: Путь Густаво Малкомеса [[JUMP:0:42]] Густаво Малкомес начал свой путь в области машинного обучения в Федеральном университете Сеара в Бразилии [0:54]. В то время ML не был популярной дисциплиной в его вузе, поэтому он и группа его друзей занимались самообразованием. Малкомес называет своим первым учителем профессора Эндрю Ына (Andrew Ng), лекции которого на YouTube стали для него фундаментом знаний 12 лет назад [1:07]. Позже он переехал в США для получения степени PhD в Университете Вашингтона в Сент-Луисе (WashU), где работал под руководством профессора Романа Гарнетта [2:25]. Его диссертация была посвящена активному обучению (Active Learning) и тому, как использовать эти методы для создания более совершенных инструментов автоматизированного машинного обучения (AutoML) [3:54]. Мастерство Малкомеса заключается в разработке инструментов для принятия решений в условиях неопределенности. В его портфолио — проекты от улучшения скрининговых тестов в аудиометрии до оптимизации функций «черного ящика» в SigOpt [4:27]. ## 🧠 Расширенное видение активного обучения [[JUMP:6:14]] Традиционно активное обучение воспринимается как способ эффективного выбора данных для обучения модели с целью экономии вычислительных ресурсов [6:28]. Однако Малкомес предлагает смотреть на эту концепцию шире, приравнивая её к последовательному принятию решений. Согласно его видению, активное обучение стоит в одном ряду с обучением с учителем и обучением с подкреплением как общий фреймворк для эффективного сбора данных для любой цели [7:21]: * **Классическое активное обучение:** ускоренное нахождение границ принятия решения. * **Байесовская оптимизация:** поиск конфигураций параметров, максимизирующих функцию [7:57]. * **Дизайн экспериментов (Experimental Design):** ускоренное понимание физических явлений в химии или биологии [8:23]. По словам гостя, активное обучение — это, по сути, сама наука в миниатюре: процесс построения моделей и сбора данных для их валидации [8:35]. ## 🧪 Проблема «стеклянных» солнечных панелей [[JUMP:9:04]] Разработка алгоритма **Constraint Active Search (CAS)** была вдохновлена сотрудничеством с лабораторией передовых материалов Университета Питтсбурга под руководством профессора Пола Лю [9:30]. Исследователи работали над созданием новых видов стекла для солнечных панелей, которые должны обладать комплексом свойств [9:43]: * Долговечность. * Антибликовое покрытие (чтобы свет проникал в панель, а не отражался). * Самоочищение и защита от загрязнений (пыль блокирует свет). Ученые используют наноструктуры на поверхности стекла, чтобы изменить свойства света. Однако между численной симуляцией и реальным производством существует огромный разрыв (discrepancy) [11:12]. Традиционные симуляторы не могут учесть все физические нюансы производства, поэтому теоретически «лучший» дизайн из компьютера может оказаться невыполнимым или нестабильным в реальности [11:53]. ## 🏔️ Почему фронт Парето не всегда является решением [[JUMP:13:00]] В многокритериальной оптимизации стандартным подходом является поиск фронта Парето — набора решений, где нельзя улучшить один показатель, не ухудшив другой [15:36]. Однако в реальной инженерии этот подход имеет фундаментальный изъян. Малкомес использует аналогию с поиском пика горы, где высота — это значение метрики, а координаты — параметры [19:57]. В многокритериальной задаче (например, две горы-метрики) фронт Парето — это линия между вершинами в пространстве параметров [20:37]. По мнению Густаво, проблема заключается в следующем: 1. **Нестабильность:** «Лучшая» точка может находиться на остром пике. Если при производстве параметры чуть-чуть сдвинутся (из-за погрешности оборудования), эффективность резко упадет [19:17]. 2. **Отсутствие разнообразия:** Оптимизация ищет экстремумы, но ученым часто важнее понять общую форму «плато», чтобы найти стабильный регион для производства [17:20]. ## 🛠️ Constraint Active Search (CAS): Поиск «плато», а не пика [[JUMP:23:01]] Малкомес и его коллеги предложили новый тип задачи — **Constraint Active Search**. Вместо поиска глобального максимума, алгоритм ищет область удовлетворения (satisfactory region) — все наборы параметров, которые позволяют метрикам быть «выше заданного порога» [24:20]. Ключевые особенности решения: * **Диверсификация (Diversity):** Алгоритм стремится найти не просто хорошие точки, а точки, максимально удаленные друг от друга в пространстве параметров [28:50]. * **Функция полезности (Utility):** Вместо поиска «улучшения значения» (как в байесовской оптимизации), CAS максимизирует «покрытие» (coverage) объема пространства параметров, которое удовлетворяет условиям [30:50]. * **Параметр радиуса (R):** Это настраиваемая величина, определяющая минимальное расстояние между предлагаемыми решениями. Если две конфигурации слишком близки, алгоритм считает их «одинаковыми» и ищет дальше [31:26]. Математически CAS является обобщением: если задать порог на уровне максимально возможного значения, он превращается в байесовскую оптимизацию; если на уровне минимального — в классический дизайн экспериментов [38:32]. ## 📈 Оценка эффективности и результаты [[JUMP:41:15]] Для оценки нового метода Малкомес использовал четыре метрики, включая количество «положительных» точек (выше порога) и «дистанцию заполнения» (fill distance), которая коррелирует с разнообразием [42:32]. Результаты тестов показали: 1. **Байесовская оптимизация** дает лучшие значения метрик, но страдает от отсутствия разнообразия (точки кучкуются у одного пика) [44:31]. 2. **Active Search** находит много хороших точек, но они также не диверсифицированы [44:44]. 3. **Constraint Active Search (CAS)** обеспечивает лучший баланс между качеством решений и их разнообразием в пространстве параметров [46:02]. ## 👥 Применение: Человек в контуре управления [[JUMP:46:16]] Основная ценность CAS проявляется в сценариях Human-in-the-Loop. Когда эксперт-человек получает от алгоритма 5–10 вариантов дизайна, которые сильно отличаются друг от друга, но все одинаково эффективны, это дает ему пространство для маневра [48:02]. Это применимо не только в материаловедении, но и в обычном ML. Компании часто выбирают модели не только по точности, но и по бизнес-метрикам (например, время инференса). Малкомес утверждает, что предоставление набора разнообразных моделей, работающих выше порога точности, позволяет бизнесу тестировать их в «теневом» режиме или через A/B-тесты в реальных условиях, где данные отличаются от обучающих [49:20]. В будущем Малкомес планирует изучить возможность динамического изменения параметра радиуса (R) в процессе поиска — от широкого охвата территории к более детальному изучению перспективных зон [50:27].