# Хизер Горр: „В критических системах вы обязаны тестировать ИИ до абсолютного изнеможения“ Источник: https://www.youtube.com/watch?v=rjYz3OU-Scs Канал: The TWIML AI Podcast Опубликовано: 13.11.2023 --- В новом выпуске подкаста TWIML AI Сэм Чаррингтон беседует с Хизер Горр, ведущим менеджером по продуктовому маркетингу MATLAB в компании MathWorks. Обсуждение сосредоточено на специфике развёртывания систем машинного и глубокого обучения на аппаратных средствах (Edge AI), а также на том, как инженерные дисциплины и классический ИИ находят точки соприкосновения в критически важных отраслях. ## 🛠️ Пересечение инженерии и ИИ: наследие MATLAB [[JUMP:00:00]] Хизер Горр пришла в сферу машинного обучения из физики, защитив диссертацию (PhD) около 10 лет назад [00:40]. В то время она занималась анализом микроскопических изображений для определения концентрации жидкостей, что позволяло ставить медицинские диагнозы по капле крови или слезы [01:07]. Этот опыт привел её в MathWorks, где сегодня огромное сообщество инженеров и ученых интегрирует методы ИИ в традиционные системы. По словам Горр, сегодня наблюдается конвергенция сообщества исследователей ИИ и инженерного сообщества [04:01]. Ключевые тезисы этой интеграции: * **Долголетие технологий:** Пакет Neural Network Toolbox в MATLAB появился ещё в 1992 году [05:06]. Инструментарий для работы с нейросетями не является чем-то принципиально новым для инженеров, хотя масштаб применения колоссально вырос. * **Сосуществование языков:** В реальности «языковых войн» (MATLAB против Python) не существует [03:22]. В сложных системах разработчики часто используют Python и PyTorch для исследований и прототипирования, а MATLAB и Simulink — для интеграции модели в систему управления, цифровой обработки сигналов и финального развёртывания на железе [04:25]. * **Ориентация на управление:** Огромный интерес вызывает обучение с подкреплением (Reinforcement Learning), так как оно напрямую ложится на задачи классического управления (Controls) [03:47]. ## 🏗️ Физические модели против данных: концепция цифровых двойников [[JUMP:06:12]] Существует мнение, что машинное обучение постепенно вытесняет традиционное физическое моделирование, однако Хизер Горр утверждает, что эти подходы дополняют друг друга [06:53]. Она приводит в пример компанию Baker Hughes, занимающуюся предиктивным обслуживанием насосов [07:19]. Главная проблема в таких индустриях — дефицит данных о поломках. Никто не хочет намеренно ломать дорогое оборудование ради сбора обучающей выборки [07:46]. В этом случае: 1. Физическая модель используется для симуляции отказов, утечек и изменений параметров [07:58]. 2. Сгенерированные данные дополняют реальные сеты для обучения моделей. 3. Создается «цифровой двойник» (Digital Twin), позволяющий инженерам в реальном времени сравнивать показатели работающего агрегата с эталонной моделью и тестировать изменения параметров в безопасной среде [08:39]. ## 🏎️ Путь модели на железо: от Python до кристалла [[JUMP:09:29]] Развёртывание ИИ в автомобильной или аэрокосмической отрасли кардинально отличается от облачных решений. Хизер описывает кейс Mercedes-Benz: команда использовала PyTorch для создания модели глубокого обучения и проводила квантование в Python [10:11]. Однако для финального шага — внедрения в автомобиль — потребовался инструмент Fixed-Point Designer в MATLAB [10:35]. Это необходимо, потому что реальные устройства часто не поддерживают вычисления с плавающей точкой (floating-point math) с нужной скоростью или энергоэффективностью [12:12]. Инженеры используют MATLAB для проверки того, как модель, созданная «художниками-исследователями», будет вести себя в строгих рамках аппаратных ограничений [10:49]. Процесс осложняется тем, что в разработке участвуют огромные междисциплинарные команды [12:25]: * **Hardware-эксперты**, работающие с сенсорами. * **Data Scientists**, создающие архитектуру моделей. * **Сертификационные специалисты и юристы**, так как в авиации и автопроме нельзя просто внедрить алгоритм без жесткой проверки на безопасность [14:33]. ## 📉 Проектирование с конца: ограничения Edge-устройств [[JUMP:16:18]] По мнению Горр, разработку Edge AI нужно начинать «с конца» — с понимания ограничений целевого устройства [17:12]. * **Окно данных:** Если устройство получает поток данных с наносекундным разрешением, но может хранить в памяти только 2 секунды потока, исследователь не имеет права обучать модель на 10-секундных паттернах [18:06]. * **Препроцессинг:** Все «красивые» методы очистки данных и извлечения признаков (feature engineering), которые работают на мощном ноутбуке, должны быть воспроизводимы на устройстве в режиме реального времени [19:51]. * **Упрощение:** Часто вместо сложной регрессии выгоднее использовать метод «ближайшего соседа» или простые физические формулы (вроде F=ma), если они обеспечивают нужную точность при минимальной задержке [20:31]. ## 🧪 Верификация и V&V (Validation and Verification) [[JUMP:29:43]] В миссионно-критичных системах надежность модели важнее её точности на бумаге. Горр выделяет четыре этапа тестирования, принятых в индустрии (например, по стандартам ISO) [30:40]: 1. **MIL (Model-in-the-Loop):** Проверка логики ИИ внутри блок-диаграммы всей системы в симуляторе (Simulink) [31:07]. 2. **SIL (Software-in-the-Loop):** Код модели переводится на C/C++ и тестируется как программный компонент [31:19]. 3. **PIL/FIL (Processor/FPGA-in-the-Loop):** Проверка работы алгоритма непосредственно на целевом процессоре или матрице FPGA [31:49]. 4. **HIL (Hardware-in-the-Loop):** Устройство с моделью подключается к физическому симулятору остальной системы (например, симулятору полета или движения автомобиля), имитируя реальную эксплуатацию [32:14]. Хизер подчеркивает, что такие тесты должны проводиться до абсолютного изнеможения системы, чтобы исключить любые риски для человеческих жизней [33:07]. ## 🛡️ Безопасность и жизненный цикл модели [[JUMP:37:30]] Инженеры также обязаны учитывать состязательные атаки (adversarial examples) и системные смещения (bias). Поскольку «симулировать общество» невозможно, команды фокусируются на симуляции экстремальных граничных случаев (corner cases) через физические модели [38:08]. Если модель ошибается в критической ситуации, вводится матрица стоимостей (cost matrix), жестко штрафующая алгоритм за опасные для жизни классификации [38:33]. Работа над Edge-системой не заканчивается после деплоя. Модели требуют обновления по мере поступления новых данных. Существуют два подхода: * **Офлайн-обновление:** Сбор данных, переобучение в облаке и повторная прошивка устройства [41:22]. * **Онлайн-обновление (на устройстве):** Использование апостериорных вероятностей для легкой корректировки параметров модели без полного переобучения [41:36]. В завершение Горр отмечает, что специализированный MLOPs для встраиваемых систем сейчас рождается на стыке классических методов IT-разработки (CI/CD, Jenkins) и многолетнего опыта модельно-ориентированного проектирования (Model-Based Design) [43:47].